Шум. Несовершенство человеческих суждений

Прежде всего, нам удалось определить относительный вес межэкспертного и внутриэкспертного шумов. В общем выяснилось, что внутриэкспертный шум вносит больший вклад в общую сумму помех, чем межэкспертный. Например, в страховой компании (см. главу 2) отклонения от средней суммы страховых премий, назначенных разными андеррайтерами, составляли всего 20 % от системного шума в целом; оставшиеся 80 % приходились на внутриэкспертный шум. А среди федеральных судей (см. главу 6) межэкспертный шум (отклонения от средней строгости) составлял немногим меньше половины системного шума в целом; внутриэкспертный шум оказался более значительным компонентом. В эксперименте с назначением компенсации морального ущерба общее количество системного шума варьировалось в широких пределах в зависимости от используемой шкалы (мера наказания, степень возмущения или сумма компенсации в долларах), однако доля внутриэкспертного шума была приблизительно постоянной: 63 %, 62 % и 61 % от системного шума в целом для каждой из трех шкал.

Тот факт, что в этих исследованиях межэкспертный шум не самый существенный компонент, уже сам по себе много значит, поскольку межэкспертный шум – единственная форма шума, которую организации могут хотя бы иногда контролировать, не проводя ревизию шумовых помех. Когда задачи распределяются между отдельными специалистами по более-менее случайному принципу, отклонение от среднего уровня в решениях доказывает присутствие межэкспертного шума. Например, при изучении работы патентных ведомств¹⁸⁷ наблюдался большой разброс от среднего уровня предрасположенности экспертов к выдаче патентов, которые в дальнейшем приходилось оспаривать в суде. Аналогично служащие органов опеки¹⁸⁸ различались по настойчивости, с которой они стремились отдать ребенка в приемную семью, с далеко идущими последствиями для благополучия детей. Подобные наблюдения основаны исключительно на оценках межэкспертного шума. Если же доля внутриэкспертного шума превышает долю межэкспертного, то эти и без того шокирующие открытия преуменьшают проблемы шумовых помех минимум в два раза. (Из этого предварительного правила есть исключения. Непозволительным разбросом в решениях о предоставлении убежища¹⁸⁹ практически однозначно мы обязаны в основном межэкспертному шуму, а не внутриэкспертному, которого, как мы подозреваем, тоже хватает.)

Следующий этап анализа внутриэкспертного шума – разложение его на два компонента. Есть веские основания предполагать, что здесь доминирует постоянный внутриэкспертный шум, а не ситуативный. Наши соображения иллюстрирует ревизия шумовых помех, содержащихся в приговорах федеральных судей. Начнем с крайности и допустим, что весь внутриэкспертный шум преходящий. Из такого допущения следует, что мера наказания непостоянна и варьируется с немыслимой амплитудой, ведь тогда ожидаемый средний разброс в сроках заключения по одному и тому же делу, рассматриваемому одним и тем же судьей, в различных обстоятельствах составит около 2,8 года!¹⁹⁰ Вариативность среднего показателя среди судей сама по себе уже шокирует. Такой же разброс для одного конкретного судьи в зависимости от обстоятельств был бы просто абсурдным. Кажется более разумным заключить, что судьи непостоянны в своих реакциях на различные преступления и различных обвиняемых и что это непостоянство в высшей степени зависит от личности судьи, однако является для него стабильным.

Для оценки доли постоянного и ситуативного шумов в составе внутриэкспертного нам нужно провести эксперимент, в котором одни и те же судьи выносят два независимых приговора по каждому делу. Как мы отмечали, создать такие условия в эксперименте, как правило, невозможно, поскольку нет гарантии, что второй приговор будет в полном смысле слова независим от первого. Велика вероятность – особенно в сложных делах, – что судья узнает задачу и повторит свой первоначальный вердикт.

Группа исследователей из Принстона¹⁹¹ под руководством Александра Тодорова разработала смелые экспериментальные методы для преодоления этого затруднения. Они привлекли участников с Amazon Mechanical Turk, интернет-платформы, где исполнители выполняют небольшие задания – например, заполнение анкет, – получая оплату за затраченное время. В одном эксперименте участники рассматривали изображения человеческих лиц, сгенерированные компьютерной программой, однако неотличимые от лиц реальных людей, и оценивали их по различным параметрам, например внешней привлекательности и честности (иными словами, можно ли этому человеку доверять). Эксперимент был повторен неделей позже с теми же самыми лицами и теми же респондентами.