Шум. Несовершенство человеческих суждений

К тому же простая «модель эксперта» не будет воспроизводить внутриэкспертный шум в ваших прогнозах. Она не сможет воспроизвести отклонения в ту или иную сторону, возникающие в результате ваших непредсказуемых реакций, от которых вы не застрахованы в каждом конкретном случае. Никакая модель не подвержена влиянию обстановки и вашего психического состояния в момент прогноза. Скорее всего, эти шумовые ошибки в оценках ни с чем систематически не коррелируют, а это значит, что в большинстве случаев они могут рассматриваться как случайные.

Следствием устранения шума из ваших оценок всегда будет повышение точности ваших прогнозов¹¹¹. Предположим, например, что корреляция между вашими прогнозами и фактическим результатом составляет 0,5 (ПС=67 %), однако 50 % расхождений состоят из шумов. Если полностью устранить шум из ваших оценок – то есть создать вашу идеальную модель, – то корреляция с тем же фактическим результатом подскочит до 0,71 (ПС=75 %). Другими словами, сокращение шума автоматически повышает достоверность прогнозов.

Итак, если заменить вас моделью, произойдут две вещи: устранение вашей изобретательности и устранение ваших внутриэкспертных шумовых помех. Грубый вывод, что «модель эксперта» более эффективна, чем сам эксперт, несет в себе важное послание: преимуществ громоздких правил, используемых человеком – если таковые существуют, – в большинстве случаев недостаточно, чтобы компенсировать негативное воздействие шума. Вам может казаться, что вы более искусны, более проницательны и более чувствительны к нюансам, чем линейная карикатура вашего мыслительного процесса. А на самом деле в ваших суждениях больше шума.

Почему же сложные правила вредят точности прогнозов, хотя мы упорно верим, что они помогают проникнуть в самую суть? Прежде всего, большинство сложных правил, применяемых людьми, далеко не всегда верны. Однако есть и другая проблема: даже если сложные правила верны в принципе, они неизбежно применяются в условиях, которые нечасто наблюдаются на практике. Например, вы сделали вывод, что приема на работу достойны уникальные в своем роде кандидаты, даже если по остальным параметрам они показывают посредственные результаты. Только вот незадача: уникальные кандидаты, как следует из определения, встречаются крайне редко. Поскольку подсчитать уникальность в баллах – дело неблагодарное, то бо́льшую часть высоких оценок по этому показателю можно отнести к везению, и действительно талантливый соискатель часто остается за бортом. Оценки эффективности, которые могут подтвердить, что подобный «оригинал» в будущем станет суперзвездой, так же несовершенны. Погрешности измерения с обоих полюсов неизбежно снижают достоверность прогнозов, и те самые редкие случаи, вероятнее всего, будут пропущены. Преимущества верных догадок быстро тонут в погрешности измерения.

Мартин Ю и Нейтан Канцел в своих исследованиях¹¹² изложили более радикальную версию доказательств Голдберга. В своей работе (на ее базе мы составили пример Моники и Натали) они пользовались данными, полученными от международной консалтинговой фирмы, которая привлекла экспертов для оценки 847 кандидатов на руководящие должности, по трем отдельным выборкам. Эксперты выставили баллы по семи параметрам и, используя свои клинические оценки, определили общий предиктивный балл. Результаты получились крайне невыразительными.

Ю и Канцел решили сравнить экспертов не с лучшей простой «моделью эксперта», а со случайной линейной моделью. Они сгенерировали десять тысяч наборов случайных значений по семи прогностическим параметрам и, используя десять тысяч случайных формул¹¹³, спрогнозировали результаты будущей деятельности кандидатов.

Исследователи сделали поразительное открытие: любая линейная модель, примененная последовательно ко всем случаям, вероятнее всего, одержит верх над человеком в прогнозировании результатов на основе той же информации. В одной из трех выборок 77 % из десяти тысяч случайных линейных моделей оказались точнее, чем эксперты. В двух остальных выборках превзошли человека 100 % случайных моделей. Или, попросту говоря, в данном эксперименте оказалось практически невозможно сгенерировать простую модель, которая работала бы хуже экспертов.

Из эксперимента следуют более серьезные выводы, чем из работ Голдберга с моделями экспертов, – и в самом деле, случай из ряда вон. В данных исследованиях эксперты выступили крайне слабо в абсолютном выражении, что помогает объяснить, почему их превзошли даже заурядные линейные модели. Конечно, из этого не следует, что любая модель совершеннее любого человека. И все же тот факт, что механическое следование любому простому правилу (Ю и Канцел назвали его «бессознательная логика») может существенно повысить точность оценок в сложных задачах, иллюстрирует ощутимое влияние шума на достоверность клинических прогнозов.