Шум. Несовершенство человеческих суждений

Наличие в характере уникальных черт – обычно повод для поздравления, однако наша книга посвящена профессиональным оценкам, где всяческие вариации проблематичны, а шум приводит к ошибкам. Суть представленной аналогии в том, что внутриэкспертный шум в оценках не является случайным – даже если у нас мало надежды объяснить его и даже если его не могут объяснить сами эксперты, выносящие нестандартные суждения.

К разговору о внутриэкспертном шуме

«Судя по всему, вы уверены в своих выводах, однако проблема не так проста: ключевые зацепки указывают в разных направлениях. Возможно, вы проигнорировали альтернативную интерпретацию фактов?»

«Мы с вами провели собеседование с одним и тем же кандидатом; как правило, мы предъявляем к соискателям одинаковые требования. Однако наши оценки диаметрально противоположны. В чем же причина внутриэкспертного шума?»

«Уникальность личности дает нам способность принимать новаторские решения, выдвигать творческие идеи, да и просто радоваться жизни и заражать других своей энергией. Но когда дело касается суждений, наша уникальность не идет нам на пользу».

Глава 17 Источники шума

Мы надеемся, вы уже не сомневаетесь, что там, где есть место суждению, найдется и шум. Мы также надеемся, что у вас его теперь не больше, чем вы думаете. Мантра о шумовых помехах вдохновила нас начать этот проект, однако за много лет работы тема значительно расширилась. Давайте повторим основные усвоенные уроки в отношении различных компонентов шума – о важности каждого из них в общем шумовом фоне и о месте шума в исследовании суждений.

Компоненты шума

На рисунке 16 схематично представлены три уравнения, рассмотренные в главах 5, 6 и 16, которые иллюстрируют три последовательных этапа разделения ошибок на компоненты:

• разбивка ошибок на смещение и системный шум;

• разбивка системного шума на межэкспертный и внутриэкспертный шум;

• разбивка внутриэкспертного шума на постоянный и ситуативный.

На рисунке показано, что MSE разлагается на¹⁸⁶ квадрат искажений и квадраты трех компонентов шума, рассмотренных ранее.

Рис. 16. Ошибки, искажения и компоненты шума

Начиная наши исследования, мы сосредоточились на относительных весах смещения и шумовых помех в составе ошибок. Мы также пришли к выводу, что доля шума в составе ошибок зачастую больше, чем доля смещения, и потому шум заслуживает более детального изучения.

Что касается компонентов шума, мы с самого начала руководствовались структурой комплексной ревизии шумовых помех, когда множество людей давали индивидуальные оценки по многим делам – например, при вынесении приговоров федеральными судьями или назначении суммы компенсации морального ущерба. Полученные в ходе этих исследований данные позволили дать комплексное обоснование межэкспертному шуму. С другой стороны, поскольку каждый участник эксперимента давал оценку каждому случаю, но только один раз, нельзя было сказать, являются ли постоянными или временными остаточные ошибки, которые мы назвали внутриэкспертными. При статистическом анализе (понимая его в консервативном смысле) остаточным ошибкам обычно дают некорректное название и трактуют как случайные. Другими словами, по умолчанию весь внутриэкспертный шум относят к ситуативным шумовым помехам.

Традиционная интерпретация внутриэкспертного шума как случайных ошибок долгое время препятствовала дальнейшему развитию нашей идеи. Казалось совершенно естественным сосредоточиться на межэкспертном шуме – стойком различии между строгими и снисходительными судьями или оптимистичными и пессимистичными прогнозистами. Однако нас также заинтриговал сам факт воздействия на оценки не относящихся к делу и временных обстоятельств, которые создавали ситуативные шумовые помехи.

Факты постепенно подводили нас к пониманию – «шумные» суждения, которые дают различные люди, в значительной степени зависят от чего-то еще, что нельзя отнести на счет необъективности конкретного человека и что также не является временным и случайным, а представляет собой стойкую персональную реакцию на множество факторов, определяющую действия индивидуума в отдельных случаях. В конечном счете мы пришли к выводу, что от нашего сделанного по умолчанию допущения о временной природе внутриэкспертного шума следует отказаться.

Хотя мы старались быть осторожными и не переусердствовать в генерализации на весьма ограниченной выборке, совокупные результаты большого числа исследований все же наводят на мысль, что постоянный внутриэкспертный шум и в самом деле более значим, чем прочие компоненты системного шума. Поскольку полная картина компонентов ошибок нечасто присутствовала в одном и том же исследовании, потребовалось несколько триангуляций, чтобы сформулировать предварительное заключение. Итак, перед вами то, что мы знаем – и чего не знаем.

Систематизация компонентов шума