Шум. Несовершенство человеческих суждений

Каким вопросом стоит задаться тем, кто часто делает прогнозы? Причем этот вопрос применим к любой задаче – например, покупке акций или прогнозированию будущих успехов профессиональных спортсменов. Мы же для простоты используем пример, упомянутый в главе 9: выбор кандидатов на должность. Допустим, вы несколько лет отслеживали работу сотни кандидатов. Теперь у вас есть возможность оценить правильность своих решений путем сравнения прогнозов с реальными результатами деятельности кандидатов. Если взять наугад любых двух кандидатов, сколько раз ваши ожидания совпали с фактическим результатом? Другими словами, если сравнивать двух кандидатов, какова вероятность, что тот, кого вы сочли более перспективным, на самом деле оказался лучшим?

Мы часто устраиваем неформальные опросы на эту тему в группах высших должностных лиц. Большинство ответов приходятся на диапазон 75–85 %, и мы подозреваем, что они продиктованы скромностью и желанием не прослыть хвастунами. Частные беседы с глазу на глаз наводят на мысль, что подлинная самооценка руководителей зачастую даже еще выше.

Теперь, когда вы ознакомились со статистикой, проблема налицо. Процент согласия, равный 80 %, примерно соответствует корреляции 0,8. В реальном мире такой уровень точности прогнозов редко достижим. Последние обзоры¹³⁶, посвященные методикам отбора кадров, выявили, что эффективность прогнозов и близко не дотягивает до этого показателя. В среднем корреляция составляет 0,28 (ПС=59 %).

Если учесть, что отбор кадров – тот еще квест, неутешительные результаты вас не удивят. У тех, кого сегодня возьмут на работу, появится много трудностей и много возможностей; не исключено, что в силу различных обстоятельств их жизнь кардинально изменится. Кому-то из соискателей повезет с руководителем, который поверит в них, создаст им все условия, начнет продвигать по служебной лестнице, повысит их самооценку и усилит мотивацию. Другие окажутся менее удачливы и не по своей вине начнут карьеру с деморализующего провала. В личной жизни каждого также могут произойти события, которые повлияют на успехи на работе. Ни одно из этих событий и обстоятельств не может быть предугадано сегодня – ни вами, ни кем-либо другим, ни лучшей в мире моделью. Истинное незнание включает в себя все, что не может быть известно в настоящее время о развитии событий в будущем, которое вы пытаетесь предсказать.

Кроме того, многие сведения о кандидатах, которые можно узнать в принципе, неизвестны вам в момент составления прогноза. В нашем случае не имеет значения, вызваны ли пробелы в сведениях отсутствием качественных тестов или вы сочли, что издержки по получению дополнительной информации необоснованны, или небрежно отнеслись к сбору фактов. Как бы то ни было, достаточно полной информацией вы не обладаете.

Обе причины – истинное незнание (то, чего никак не узнать) и неполная информация (можно было выяснить, но этого не произошло) – делают идеальный прогноз невозможным. Обе эти неизвестные величины – не проблемы смещения и шума в ваших оценках; это объективные характеристики задачи. Объективная неосведомленность о важных, но неизвестных вам вещах жестко ограничивает точность. Мы позволим себе некоторую вольность в терминологии и заменим обычно употребляемое слово незнание на неосведомленность. Термин поможет снизить риск путаницы между незнанием (в смысле незнания фактов о том, что происходит в мире и что случится в будущем) и шумом, который есть не что иное, как разброс в оценках.

В некоторых ситуациях имеется больше известной информации (и меньше объективной неосведомленности), чем в других. Большинство профессиональных оценок очень неплохи. По многим болезням врачи дают верные прогнозы; во многих правовых спорах адвокаты могут с большой точностью предсказать, каким будет решение судей.

Однако в целом можно с уверенностью предположить, что люди, которые занимаются прогнозированием, недооценивают свою объективную неосведомленность. Излишняя самоуверенность¹³⁷ – одно из самых хорошо документированных когнитивных искажений. В частности, излишней самоуверенностью отличаются утверждения о чьей-либо способности давать точные прогнозы даже на основе ограниченной информации. То, что мы говорили о шуме в прогнозировании, можно отнести и к объективной неосведомленности: там, где есть прогноз, найдется место и неосведомленности. И ее будет намного больше, чем вам кажется.

Излишне самоуверенные эксперты

Наш хороший друг, психолог Филип Тетлок, обладает непередаваемым чувством юмора и страстным стремлением к справедливости. В 2005 году он опубликовал книгу под названием «Экспертные политические суждения». Несмотря на нейтральный заголовок, книга содержала убийственные нападки на способность экспертов точно предсказывать политические события.