Шум. Несовершенство человеческих суждений

Оптимальный итоговый результат показал метод отбора. Частично его успех объясняется более умелым использованием информации. Суперпредсказатели лучше среднестатистических участников эксперимента владеют методами поиска значимых данных – либо за счет более острого ума, либо более сильной мотивации и богатого опыта в формировании прогнозов требуемого типа. Повторим: основным достижением метода отбора стало снижение шумового фона. Суперпредсказатели, в отличие от среднего прогнозиста или даже обученной команды, действительно производят меньше шума. Данный вывод также стал откровением для Сатопаа и других исследователей: «Суперпредсказатели, вероятно, обязаны своим успехом²⁸⁷ более жесткой фильтрации возможных погрешностей оценки, нежели более внимательному чтению новостей». Очевидно, их среднестатистический коллега на такое не способен.

В каких случаях срабатывают методы отбора и обобщения

Успех проекта по выявлению суперпредсказателей подчеркивает значение двух стратегий гигиены принятия решений: стратегии отбора (суперпредсказатели действительно по праву носят приставку «супер») и стратегии обобщения (работая в команде, прогнозисты действуют более эффективно). Обе стратегии широко применяются для вынесения суждений самого разного характера. Если ситуация позволяет, стратегии следует сочетать, создавая команды судей (в сферах прогнозирования, инвестиций или работы с персоналом), отобранных не только по принципу профессионализма, но и с учетом взаимодополняемости.

До сих пор мы обсуждали способы повышения точности, достигаемой усреднением множества независимых суждений, как, например, в случае экспериментов с концепцией «мудрости толпы». Агрегирование оценок экспертов высокой квалификации еще более способствует улучшению точности суждения. Дополнительного эффекта можно также добиться, сочетая оценку экспертов, которые будут работать автономно и в то же время смогут дополнять друг друга²⁸⁸. Представьте себе ситуацию, когда четыре человека стали свидетелями преступления. Важно, конечно, не допустить взаимного влияния их показаний. При этом качество информации, которую они вам дадут, будет гораздо лучше, если они наблюдали за происшествием с четырех разных сторон.

Задача создания команды профессионалов, которой предстоит вынести суждение, подобна отбору комбинации тестов, способных спрогнозировать результаты деятельности ваших кандидатов (что в учебном процессе, что в профессиональной сфере). Стандартным инструментом решения такой задачи считается метод множественной регрессии, введенный нами в главе 9. Метод работает путем последовательного отбора переменных. Первым выбирается тест, показавший наилучший прогнозный результат. Однако второе место в вашем арсенале необязательно займет тест со вторым по порядку итоговым баллом. Нет, второй тест должен дополнять прогностическую способность первого инструмента; его прогнозный потенциал должен соответствовать критериям достоверности и не быть избыточным по отношению к первому тесту. Приведем пример. Допустим, у вас имеется два сопоставимых теста измерения сообразительности, которые дают корреляцию 0,50 и 0,45 относительно будущих успехов кандидата. Третий тест (на выявление личностных характеристик) коррелирует лишь на 0,30 относительно потенциального успеха и совершенно не коррелирует с двумя другими тестами. Оптимальным решением станет комбинация первого теста с более высоким коэффициентом корреляции и третьего теста, который способен добавить к вашему заключению новую информацию.

Таким же образом, создавая команду судей, разумеется, в первую очередь необходимо пригласить лучшего кандидата. Однако вторым выбором вполне может стать отнюдь не человек с аналогичными способностями, а кандидат с более умеренным уровнем, который, тем не менее, привнесет в команду новый импульс. Команда, созданная на основе подобного критерия, покажет лучший результат, поскольку степень достоверности коллективного суждения растет быстрее, когда индивидуальные суждения не коррелируют, и медленнее в ситуациях, когда их комбинация избыточна. Внутриэкспертный шум в такой команде будет достаточно высок, поскольку индивидуальные суждения по каждому вопросу варьируют. Парадоксально, но факт: «шумная» группа даст более точную среднюю оценку, чем та, что родилась в условиях полного единогласия.