Шум. Несовершенство человеческих суждений

В экспериментах, упомянутых нами ранее в этой главе, эту проблему удалось обойти, усложнив специалистам узнавание ранее виденных задач. Винные эксперты проводили дегустацию вслепую. Дактилоскопистам показывали уже проанализированные ими отпечатки пальцев, а экспертов по программному обеспечению спрашивали о задачах, над которыми они работали ранее, только делалось это несколько недель или месяцев спустя после первого предъявления, к тому же испытуемых не поставили в известность о том, что с этими данными они уже сталкивались.

Существует еще один, более косвенный, способ подтвердить присутствие ситуативного шума: можно воспользоваться большими данными и методами эконометрии. Если у нас имеется большой объем данных о решениях, принятых профессионалами, иногда аналитики могут проверить, подвергались ли они влиянию ситуативных, несущественных факторов, таких как время суток или температура воздуха. Статистически значимое влияние подобных факторов на вынесение решений – свидетельство ситуативного шума. Если оценивать обстановку реально, на то, что все источники ситуативного шума будут найдены, особенной надежды нет, однако те, что обнаружить все-таки можно, демонстрируют, насколько велико их разнообразие. Чтобы научиться контролировать ситуативный шум, нужно попытаться понять порождающие его механизмы.

Один в поле воин

Ответьте на такой вопрос: какой процент мировых аэропортов сосредоточен в США? Когда вы над этим задумались, вероятно, вам в голову пришел некий ответ. Но это нельзя сравнить с вызыванием в памяти вашего возраста или номера телефона. Вы знаете, что эта оценка приблизительна. И все же это число не случайно: вы понимаете, что, дав ответ 1 % или 99 %, вы явно ошибетесь. При этом ваша прикидка находится в целом ряду возможных альтернатив, которые вы не стали бы исключать. Если бы к вашему варианту ответа прибавили или отняли один процентный пункт, вероятно, вы не сочли бы результат намного более правдоподобным. (Если вам любопытно, правильный ответ⁵⁹ 32 %.)

Два исследователя, Эдвард Вул и Гарольд Пашлер⁶⁰, решили попробовать задать этот вопрос (и множество ему подобных) не один раз, а дважды. В первый раз испытуемым не сообщали, что им придется отвечать на этот же вопрос снова. Вул и Пашлер предположили, что средняя величина значений двух ответов будет точнее, чем каждый ответ, взятый по отдельности.

Данные эксперимента подтвердили их гипотезу. В целом первый ответ был точнее⁶¹, чем второй, но самой точной оценкой оказалось их среднее арифметическое.

В своем исследовании Вул и Пашлер опирались на хорошо известное явление под названием «мудрость толпы»: усреднение значений независимых оценок разных экспертов обычно приводит к повышению точности. В 1907 году Фрэнсис Гальтон, знаменитый исследователь-эрудит, приходившийся родственником Дарвину, обратился к 787 деревенским жителям с предложением отгадать вес быка-рекордиста на сельской ярмарке. Точный вес быка (1198 фунтов) никто из крестьян назвать не смог, однако среднее арифметическое их ответов равнялось 1200, всего на 2 фунта больше верного ответа, а медиана – 1207, что тоже почти рядом. Эти крестьяне и были «мудрой толпой»: хотя их ответы по отдельности содержали много шума, смещения в них не было. Гальтон был удивлен таким результатом, ведь он был не слишком высокого мнения о способности простонародья к здравомыслию, однако ему поневоле пришлось заявить, что результаты эксперимента «оказались более достойным подтверждением надежности решения, принятого демократическим путем, чем того можно было ожидать».

В сотнях других ситуаций результаты суждений «толпы» оказываются похожими. Конечно, если задаваемые вопросы настолько сложны, что достоверный ответ могут дать только эксперты, коллективный разум будет прав далеко не всегда. Но если, к примеру, люди угадывают количество конфет в прозрачной банке, или пытаются предсказать погоду в их городе через неделю, или прикидывают расстояние между двумя городами в одном из штатов, среднее арифметическое ответов большого количества людей, скорее всего, будет близким к правде.

Это можно объяснить простой статистикой: когда мы усредняем несколько независимых суждений (или измерений), мы получаем новую, менее шумную⁶², хотя и не менее смещенную, чем отдельно взятые суждения, оценку.

Вул и Пашлер захотели выяснить, будет ли тот же эффект иметь место в случае с ситуативным шумом, а именно: можно ли подобраться к истинному значению ближе, усреднив значения двух ответов одного человека – точно так же, как при усреднении ответов разных людей? Обнаружилось, что это действительно так. Вул и Пашлер дали полученным результатам выразительное название внутренняя толпа.