Шум. Несовершенство человеческих суждений

Тетлок изучил предсказания почти трех сотен экспертов: известных журналистов, уважаемых ученых и высокопоставленных консультантов национальных лидеров. Он задался вопросом: а сбылись ли их прогнозы в политике, экономике и социальной сфере? Исследования охватывали два десятилетия; чтобы выяснить, осуществились ли долгосрочные прогнозы, требуется немало терпения.

Главное открытие Тетлока состояло в том, что в своих предсказаниях важнейших политических событий эксперты крайне разочаровывали. Книга стала знаменитой благодаря уничижительной концовке: «В среднем эксперты попадали в цель примерно с такой же точностью, как шимпанзе при игре в дартс». Более полно суть книги выражалась в том, что эксперты со своими «комментариями и рекомендациями¹³⁸ на политические и экономические темы» оказались «ничуть не лучше, чем журналисты или внимательные читатели New York Times. Разумеется, эксперты за словом в карман не лезли. Они анализировали ситуацию, рисовали захватывающую картину развития событий и уверенно опровергали возражения своих оппонентов по теледебатам. Однако знали ли они наверняка, что случится в будущем? Едва ли.

Тетлок пришел к этому выводу, прорываясь сквозь бесконечный поток красноречия. По каждому пункту он попросил экспертов оценить вероятность трех возможных исходов: статус-кво, некоторый рост или снижение. Бросающая дротики шимпанзе «выбрала» бы каждый из этих исходов с равной вероятностью – один к трем, – невзирая на реальные факты. Эксперты ненамного превысили этот очень низкий уровень. В среднем они чуть выше оценивали вероятность событий, которые произошли, чем тех, которых так и не случилось, однако наиболее яркой чертой их выступлений стала чрезмерная уверенность в своей правоте. Мудрецы, вооруженные логичными теориями о том, как функционирует этот мир, оказались наиболее самоуверенными и наименее точными.

Открытия Тетлока наводят на мысль, что детальные долгосрочные прогнозы отдельных событий попросту невозможны. В мире все настолько запутано, что самые незначительные события могут иметь серьезные последствия. Например, такой факт: имелся равный шанс, что каждый оставивший след в истории человек (да и вообще любой человек) мог бы родиться другого пола. Непредсказуемые события неизбежны, и их последствия также непредсказуемы. В результате чем дальше мы заглядываем в будущее, тем больше накапливается объективной неосведомленности. Ограниченность экспертных политических суждений обусловлена не когнитивной ограниченностью прогнозистов, а полной объективной неосведомленностью о будущих событиях.

Конечно, «мудрых» экспертов не следует порицать за провалы их долгосрочных предсказаний. Однако они заслужили свою долю критики, потому что взялись за невыполнимую задачу и возомнили, что смогут добиться успеха.

Спустя несколько лет после своего скандального открытия, касающегося бессмысленности многих долгосрочных прогнозов, Тетлок и его жена Барбара Меллерс принялись за изучение того, насколько хорошо люди справляются с предсказанием мировых событий на относительно короткий период – как правило, меньше года. Они обнаружили, что давать краткосрочные прогнозы трудно, но вполне возможно, и некоторые люди, названные Тетлоком и Меллерс суперпредсказателями, показывают лучшие результаты, чем другие, – включая работающих в разведке профессионалов. В принятых здесь терминах новые открытия совместимы с гипотезой о том, что чем дальше мы заглядываем в будущее, тем выше объективная неосведомленность. К суперпредсказателям мы вернемся в главе 21.

Беспомощные эксперты и немногим лучшие модели

Ранние исследования Тетлока продемонстрировали присущую людям абсолютную неспособность к долгосрочным политическим прогнозам. Если бы удалось найти хоть одного человека с настоящим магическим кристаллом, это полностью изменило бы сделанные выводы. Задача считается невыполнимой лишь после того, как многие заслуживающие доверия личности попробовали свои силы и потерпели неудачу. Ранее мы уже показали, что как механическая агрегация информации часто одерживает верх над человеческими оценками, так и точность правил и алгоритмов гарантирует лучшую проверку тому, насколько в действительности предсказуем – или непредсказуем – конечный результат.

После прочтения предыдущих глав у вас могло возникнуть впечатление, что алгоритмы непременно берут верх над оценочными суждениями. Однако это впечатление может быть обманчивым. Модели постепенно становятся лучше людей, но ненамного. По сути нет подтвержденных ситуаций, когда, владея одной и той же информацией, люди проявляют себя из ряда вон плохо, а модели, наоборот, очень хорошо.