Шум. Несовершенство человеческих суждений

В итоге выяснилось, что каждая из трех стратегий по-своему результативна. Как минимум участники всех трех групп продвинулись по шкале Брайера. Обучение позволило добиться разницы по сравнению с ранее достигнутым уровнем, командная работа эту разницу увеличила, а отбор дал еще больший эффект.

Ценные результаты, полученные в процессе исследования, подтвердили значимость метода обобщения суждений и выбора лучших судей. Однако на этом история не закончилась. Опираясь на информацию об эффекте каждой из стратегий, Вилле Сатопаа, ранее сотрудничавший с Тетлоком и Меллерс, разработал сложный статистический метод²⁸⁴, позволяющий выяснить, как именно каждый из трех подходов влиял на улучшение качества суждений. В принципе, рассуждал он, существуют три основные причины, по которым некоторые прогнозисты отличаются от своих коллег в лучшую или худшую сторону:

1. Хороший прогнозист имеет отличные навыки поиска и анализа информации из внешней среды, представляющей ценный источник для формирования прогноза. Стало быть, здесь мы говорим о важности информации.

2. Некоторые прогнозисты проявляют общую склонность к ошибкам в определенных аспектах достоверности прогноза. Если прогнозист сделает сотню прогнозов и в каждом из них допустит системную ошибку в части недооценки или переоценки возможности некоторых изменений статус-кво, мы, в зависимости от направления его ошибок, скажем, что на данного специалиста оказывает влияние определенная форма когнитивного искажения.

3. Некоторые прогнозисты менее подвержены воздействию шума (реже допускают случайные ошибки). В области прогнозирования, как и при вынесении любого иного суждения, существуют многочисленные механизмы, запускающие шумовой фон. Прогнозисты могут проявлять чрезмерную реакцию на какую-либо новость (это и есть пример внутриэкспертного шума), могут быть подвержены и влиянию шума ситуативного. При работе со шкалой вероятностей на таких специалистов могут воздействовать шумовые помехи. Направление и масштаб каждой ошибки (а мы перечислили лишь некоторые из них) непредсказуемы.

Сатопаа, Тетлок, Меллерс и их коллега Марат Салихов выделили для себя три основных компонента, присущих прогнозированию: искажение, информацию и шум. Перед исследователями стояла задача: измерить, как ведут себя данные компоненты при оптимизации эффективности в разрезе каждой из трех стратегий. Модель получила название «BIN».

Ответ оказался простым: каждая из трех стратегий в первую очередь работала на снижение шума. Ученые отметили: «В тех случаях, когда применяемые меры²⁸⁵ улучшали точность, их эффект складывался в основном за счет нейтрализации возможности случайных ошибок в суждениях. Любопытно, что изначальной целью стратегии обучения было уменьшить смещение».

Итак, поскольку обучающий метод был нацелен на искажения, прогнозист средних способностей предсказал бы, что основным достижением примененного подхода станет уменьшение смещения, и оказался бы не прав: тренинги уменьшили шум. Неожиданный поворот вполне объясним. Обучающий метод Тетлока был направлен на нейтрализацию психологических искажений, которые, как мы уже знаем, не всегда приводят к статистическому смещению. Допустим, разные люди в ходе дискуссии выносят разные суждения, прибегая к различным подходам. В каждом случае срабатывают психологические искажения, внося шум в итоговый результат. Подобный эффект мы наблюдаем и здесь, поскольку прогнозируемые события крайне разнообразны. В зависимости от темы искажения заставляют аналитика недооценивать или переоценивать вероятность. Статистического смещения, которое стабильно заставляет прогнозиста полагать, что определенные события наверняка произойдут (или, напротив, не произойдут), в данном случае ожидать не приходится. В результате обучение прогнозистов методам борьбы с психологическими искажениями как раз и приводит к снижению шума.

Метод командной работы лучше подавляет шум, нежели метод обучения и в то же время значительно улучшает способность команды извлекать необходимую для суждения информацию. Результат в данном случае согласуется с логикой метода обобщения: коллективный мозговой штурм дает больше возможностей для обнаружения значимых данных, чем работа в одиночку. Допустим, условные Элис и Брайан работают в команде, и Элис замечает сигнал, пропущенный напарником. В итоге их совместный прогноз окажется лучше. Судя по всему, при работе в группе суперпредсказателям удается избегать риска групповой поляризации и влияния информационных каскадов. Напротив, они обобщают интуитивные догадки и добытые каждым из них данные, извлекая максимум из имеющейся информации за счет применения активного открытого мышления. Сатопаа и его коллеги объясняют данный эффект так: «Командная работа, в отличие от обучения…²⁸⁶ позволяет прогнозистам не идти на поводу у информации».