Шум. Несовершенство человеческих суждений

▣ Выйдет ли в следующем году какая-либо страна из еврозоны?

Как видно из данных вопросов, проект сосредоточен на широком спектре мировых проблем. Важно отметить, что подобные вопросы отражают ту повестку, которая тревожит аналитиков во всем мире. Спросим адвоката: есть ли перспектива у его клиента выиграть дело в суде? Узнáем у специалистов телестудии, каковы шансы на популярность у нового телешоу. В обоих случаях нашему собеседнику потребуются аналитические способности. Тетлок с коллегами решили выяснить, действительно ли среди нас есть люди, которых можно считать особенно хорошими прогнозистами. Также ученые хотели понять, можно ли научить человека навыкам прогнозирования или хотя бы развить его врожденные способности.

Смысл основных выводов проекта станет ясен, если мы расскажем о некоторых ключевых особенностях метода, применяемого Тетлоком в целях оценки способностей к прогнозированию.

Во-первых, ученые собрали большое количество прогнозов, не ограничившись одним или несколькими, которым могла способствовать самая обычная удача либо, напротив, невезение. Если вы предсказали, что ваша любимая команда выиграет следующий матч и она действительно побеждает соперника – это еще не значит, что вы действительно хороший прогнозист. А если вы каждый раз даете прогноз в пользу любимой команды? Если ваша стратегия именно такова и команда побеждает в половине случаев, нельзя сказать, что ваши способности к прогнозу впечатляют. Следует отфильтровать фактор везения, поэтому исследователи и проверяют среднюю точность прогноза каждого участника эксперимента в пределах широкого спектра событий.

Во-вторых, ученые просят участников дать вероятностный прогноз, который не ограничивается ответом «случится» или «не случится». Для многих прогнозирование как раз и заключается в выборе одного из этих двух вариантов. В то же время, учитывая нашу объективную неосведомленность о наступлении событий в будущем, гораздо эффективнее формулировать вероятностные прогнозы.

Допустим, в 2016 году вы утверждали, что Хилари Клинтон с семидесятипроцентной вероятностью станет следующим президентом. Это не значит, что вы плохой прогнозист. Правильным станет следующий вывод: событие, которое сбудется в семидесяти случаях из ста, в тридцати случаях все же не произойдет. Если мы хотим знать, хорош ли прогнозист, нам потребуется выяснить, насколько его вероятностная оценка соответствует реальности. Предположим, условная Маргарет утверждает, что 500 различных событий произойдут с вероятностью 60 %. Если ее прогноз сбудется в отношении трехсот из них, придется сделать вывод, что вероятностное мышление Маргарет настроено вполне прилично. Подобная настройка – необходимое условие для хорошего аналитика.

В-третьих, отлаживая свой метод, Тетлок с коллегами не просто требовали от прогнозистов дать оценку вероятности наступления какого-либо события в течение, скажем, двенадцати месяцев. Ученые предоставили участникам возможность регулярно пересматривать свой прогноз в свете поступающей информации.

Предположим, в 2016 году вы спрогнозировали, что вероятность выхода Соединенного Королевства из Евросоюза до конца 2019 года составляет лишь 30 %. Идет время, мы получаем данные новых опросов, предполагающих, что движение за выход из Евросоюза набирает силу. Не исключено, что вы измените свою оценку в сторону повышения. Оглашается результат референдума, и он не добавляет ясности – действительно ли в Лондоне решат отделиться именно в обозначенный нами период. Однако вероятность все растет (кстати, технически Брексит состоялся в 2020 году).

По мере поступления новой информации Тетлок и его коллеги разрешали прогнозистам корректировать свои оценки. В целях составления рейтинга каждая корректировка приравнивалась к новому прогнозу. Таким образом, участников проекта «Верное суждение» побуждали внимательно следить за новостями и регулярно обновлять прогнозы. Подобный подход отражает требования к аналитикам в деловой среде и ожидания от прогнозов правительства. И те и другие обязаны достаточно часто обновлять свои оценки с учетом поступающих новостей и не должны обращать внимание на риск подвергнуться критике за перемену мнения. Кстати, отличным ответом на подобную критику служит заявление, приписываемое Джону Мейнарду Кейнсу: «Если изменяется фактическая обстановка, я меняю свое суждение. А как поступаете вы?»

В-четвертых, проект «Верное суждение» использовал для измерения эффективности прогнозистов систему, разработанную Гленном Брайером еще в 1950 году. Шкала Брайера определяет фактическую степень точности прогноза.