Суперпрогнозисты: чему специалисты по планированию пандемии могут научиться у лучших предсказателей мираПо словам Доминика Каммингса, бывшего главного советника премьер-министра Великобритании Бориса Джонсона, эксперты поняли это катастрофически неправильно. Каммингс утверждал что в официальном научном совете правительства Великобритании в марте 2020 года было совершенно неверно истолковано, как пандемия будет развиваться, что привело к задержке с блокировкой, что стоило тысяч жизней.

По словам Каммингса, более точные прогнозы на этот момент дали определенные специалисты с меньшими знаниями о пандемиях или медицине, такие как аналитик Бен Уорнер, исследователь искусственного интеллекта Демис Хассабис из DeepMind и математик Тим Гауэрс.

Каммингс также известен как вентилятор of Суперпрогнозирование Филипа Тетлока, книги о людях, которые предсказывают будущие события более надежно, чем большинство других. Некоторые суперпрогнозисты хвалили за свои прогнозы о пандемии, в то время как другие также были критикуют экспертов записи.

Так следует ли правительствам шире использовать суперпрогнозов вместо того, чтобы полагаться на научных экспертов? Доказательства не так однозначны. Но, похоже, правительства могут чему-то научиться из суперпрогнозирования.

В известное американское исследование на суперпрогнозах, опубликованных в 2014 году, они были элитной командой. Только 2% лучших претендентов показали достаточно хороших результатов в турнире по геополитическому прогнозированию, чтобы выиграть титул. Их задачей было определить вероятности возможных ответов на десятки вопросов.


графика подписки внутри себя


Исследователи приводят несколько наглядных примеров. Кто будет президентом России в 2012 году? Сможет ли Северная Корея взорвать еще одно ядерное оружие в ближайшие три месяца? Сколько беженцев покинут Сирию в следующем году?

Конечно, то, что кто-то преуспевает в течение года, еще не доказывает, что он более квалифицирован, чем кто-либо другой. Может, им просто повезло. Мы должны посмотреть, насколько хорошо они справились в последующие годы, чтобы оценить, насколько они «супер».

Впечатляет то, что эти суперпрогнозисты сохранили свое преимущество, поскольку турнир длился еще три года. Фактически, после объединения в «команды суперпрогнозирования», состоящие только из других лучших исполнителей, их результаты значительно выросли. Исследователи также обнаружили, что работа в группах и соответствующее обучение улучшают производительность других прогнозистов по сравнению с прогнозистами в контрольных условиях.

Команды и обучение

Независимо от того, верим мы Каммингсу или нет на его слове, что планирование пандемии в Великобритании пострадало от «классического пузыря группового мышления», мы знаем, что команды не всегда принимают мудрые решения. Что сделало команды более успешными в исследовании в США?

Трудно сказать наверняка, но исследователи специально призвали группы задавать точные вопросы, чтобы побудить более четкое представление о доказательствах, подтверждающих конкретный прогноз, «искать доказательства, которые противоречат вашему текущему прогнозу», и конструктивно представлять альтернативные точки зрения. .

Такие дебаты вполне могут улучшить коллективное суждение и остерегаться группового мышления. От членов команды также не требовалось прийти к консенсусу. Хотя они делились информацией и мнениями, они все же делали индивидуальные прогнозы, которые были объединены алгоритмом. В частности, команды суперпредсказателей очень заинтересованный, часто обменивайтесь информацией с другими членами команды и задавайте им вопросы.

Другое исследование внимательно посмотрел на то, какие конкретные методы тренировки помогли больше всего. Три метода были особенно связаны с более высокой точностью. Первым было использование так называемых классов сравнения.

Например, если я пытаюсь предсказать вероятность того, что Бенедикт Камбербэтч и Софи Хантер будут вместе через пять лет, может быть полезно подумать о других релевантных «классах» - скажем, о классах браков знаменитостей или даже браки в целом. Это позволяет мне заглядывать в историю и делать свои прогнозы: какой процент браков знаменитостей заканчивается за любой пятилетний период?

Второй заключался в использовании математических и статистических моделей, когда они доступны, для информирования своих взглядов. Третий заключался в том, чтобы «выбрать правильные вопросы» - рекомендация потратить больше времени на прогнозирование ответов на вопросы, в которых вы знаете больше, чем другие, по теме или по которым дополнительные исследования, вероятно, принесут свои плоды. Однако исследователи подчеркнули, что все компоненты тренировка возможно, в целом способствовали повышению производительности.

Исследования также показали, что точность повышается, когда мы отслеживаем наши прошлые успехи - но вид обратной связи имеет значение. Были ли результаты, которые, как вы думали, могут случиться в 20% случаев, на самом деле случались в 20% случаев? Как насчет результатов, которые, по вашему мнению, будут происходить в 90% случаев? Производительность улучшается для тех, кто получает такую ​​информацию.

Могут ли правительства добиться большего?

Могло ли правительство Великобритании добиться большего успеха в борьбе с COVID-19, запросив мнение команд суперпрогнозистов? Это возможно. Суперпрогнозисты в Хорошее суждение открыто и практиковали синоптики на Метакулус (в котором я участвовал), похоже, каждый из них преуспел в борьбе с COVID-19, причем Metaculus утверждал, что опережающие эксперты в июне 2020 г. недавняя серия Что касается прогнозов, связанных с COVID-19, подготовленные синоптики не всегда были точнее экспертов. Исследователи, стоящие за опросом, экспериментируют с способами объединения прогнозов экспертов в предметной области и обученных прогнозистов в «консенсусный прогноз».

Также кажется правдоподобным, что даже обучение, которое помогло не-суперсилам делать более точные прогнозы, было бы полезным. Например, Каммингс утверждал, что, хотя эпидемиологическим моделям уделялось много внимания, доказательства, противоречащие предположениям моделей, например данные, сообщаемые отделениями интенсивной терапии, игнорировались. Конечно, кажется правдоподобным, что кто-то, обученный «искать доказательства, противоречащие вашему текущему прогнозу», мог заметить это раньше.

Конечно, не все рекомендации из литературы применимы в государственных учреждениях. Теоретически правительства могут проверить такие рекомендации на себе, принимая любые, которые кажутся полезными. К сожалению, вы не можете улучшить то, что не измеряете.

In Суперпрогнозирование, Tetlock подчеркивает, что любая организация, серьезно настроенная на улучшение своих прогнозов, должна присвоить им конкретные цифры, по крайней мере, внутри компании. Фраза вроде «серьезная возможность» может означать вероятность 20% для одного человека и вероятность 80% для другого.

Это почти наверняка то, что имел в виду Каммингс. когда он сказал,: «Парень по имени Фил Тетлок написал книгу, и в этой книге он сказал, что вы не должны использовать такие слова, как разумное, вероятное и вероятное, потому что это всех сбивает с толку». Возможно, нас не должно удивлять, если организации, которые не делают прогнозов таким образом, чтобы их можно было оценить, не имеют возможности научиться делать их лучше. Чтобы стать лучше, сначала нужно попробовать.

Об авторе

Габриэль Реккья, научный сотрудник Центра Винтона по вопросам рисков и коммуникации доказательств, Кембриджский университет

Похожие книги:

Тело ведет счет: мозг, разум и тело в исцелении травмы

Бессель ван дер Колк

Эта книга исследует связи между травмой и физическим и психическим здоровьем, предлагая идеи и стратегии для исцеления и восстановления.

Нажмите для получения дополнительной информации или для заказа

Дыхание: новая наука об утерянном искусстве

Джеймс Нестор

Эта книга исследует науку и практику дыхания, предлагая идеи и методы для улучшения физического и психического здоровья.

Нажмите для получения дополнительной информации или для заказа

Парадокс растений: скрытые опасности «здоровой» пищи, вызывающие болезни и увеличение веса

Стивен Р. Гандри

Эта книга исследует связи между диетой, здоровьем и болезнями, предлагая идеи и стратегии для улучшения общего состояния здоровья и хорошего самочувствия.

Нажмите для получения дополнительной информации или для заказа

Код иммунитета: новая парадигма настоящего здоровья и радикального омоложения

Джоэл Грин

Эта книга предлагает новый взгляд на здоровье и иммунитет, опираясь на принципы эпигенетики и предлагая идеи и стратегии для оптимизации здоровья и старения.

Нажмите для получения дополнительной информации или для заказа

Полное руководство по голоданию: исцелите свое тело с помощью прерывистого, чередующегося и длительного голодания

д-р Джейсон Фанг и Джимми Мур

Эта книга исследует науку и практику голодания, предлагая идеи и стратегии для улучшения общего состояния здоровья и хорошего самочувствия.

Нажмите для получения дополнительной информации или для заказа

Эта статья первоначально появилась на Беседа