Шум. Несовершенство человеческих суждений

Однако, даже если вы ничего не вычисляете по линейной формуле, вы можете давать свои оценки, как если бы занимались вычислениями. Опытные игроки в бильярд бьют по шару так, словно решают в уме сложные уравнения¹⁰⁷, описывающие механику каждого отдельного удара. Подобно им и вы можете выдавать прогнозы, будто пользуетесь простой формулой – хотя на деле решаете намного более сложные задачи. Условная модель, построенная по принципу «если бы», которая с приемлемой точностью прогнозирует, что станут делать люди, вполне пригодна, даже когда она явно не подходит в качестве описания процесса. Это довод в пользу простых моделей. Комплексный обзор исследований выявил, что в 237 случаях средняя корреляция между «моделью эксперта» и клиническими оценками составила 0,8 (ПС=79 %). Пусть не идеальный, однако довольно высокий результат¹⁰⁸ в поддержку условной модели.

Вопрос, который побудил Голдберга заняться исследованиями, звучал так: насколько хорошо простая «модель эксперта» может прогнозировать реальные результаты? Поскольку модель является грубой аппроксимацией человека, было бы разумно допустить, что не очень хорошо. А много ли мы теряем в точности, когда модель заменяет человека?

Ответ может вас удивить. Прогнозы не стали менее точными, когда их генерировала модель. Наоборот, точность повысилась. В большинстве случаев модель обошла профессионалов, работу которых имитировала. Эрзац оказался лучше оригинального продукта.

Этот вывод был подтвержден исследованиями в различных сферах. Первые повторения¹⁰⁹ опытов Голдберга включали в себя прогнозы успехов выпускников средних школ. Исследователи дали задание 98 участникам спрогнозировать средний балл 90 старшеклассников на основе десяти ключевых факторов. На базе прогнозов исследователи построили линейную модель каждого участника и сравнили, насколько точно спрогнозировали средний балл участники и модели. Для каждого из 98 участников эксперимента модель оказалась лучше! Десятилетия спустя сводный обзор исследований за минувшие полстолетия¹¹⁰ заключил, что модели стабильно превосходили экспертов, работу которых моделировали.

Мы не знаем, получали ли участники исследований обратную связь. Однако представьте свое смятение, если кто-то скажет вам, что грубая модель ваших оценочных суждений – практически карикатура – оказалась в действительности более точной, чем вы сами! Для большинства из нас процесс вынесения оценок является сложным, многогранным и интересным именно потому, что не сводится к простым правилам. Мы гордимся собой и своей способностью делать прогнозы, когда создаем и применяем сложные правила или задействуем свою интуицию, выделяя отдельный случай на фоне остальных – короче говоря, когда даем оценки, которые не сводятся к тупому вычислению средневзвешенного значения. Изучение «модели эксперта» подкрепляет выводы Мила о бесполезности искусных умозаключений. Зачем впустую напрягать ум? Сложность и многогранность необязательно приводят к повышению точности прогнозов.

В чем же дело? Чтобы разобраться в выкладках Голдберга, нам нужно понять, в чем различия между вами и «вашей моделью». Что является причиной расхождений между вашими реальными оценками и результатом, который выдает простая модель?

Статистическая модель ваших оценок не может добавить ничего к заложенной в нее информации. Все, что под силу модели, – вычитать и упрощать. В частности, простая модель не будет формировать никаких сложных правил, которых придерживаетесь вы. Если вы думаете, что разница между 10 и 9 баллами при оценке коммуникативных навыков более значима, чем разница между 7 и 6 баллами, или кандидат, набравший твердые 7 баллов по каждому из параметров, предпочтителен кандидату, получившему те же 7 баллов в среднем, однако имеющему очевидные сильные стороны и явно выраженные слабые, то «ваша модель» не будет копировать ваши сложные правила – даже если вы сами применяете их с образцовым постоянством.

Отказ от следования вашим изощренным правилам приведет к потере точности только в том случае, если ваши догадки верны. Допустим, вам нужно спрогнозировать чью-то успешность в решении сложных задач, имея на входе два параметра – навыки и мотивацию. Взять формулу и вычислить средневзвешенное значение тут недостаточно, потому что никакая мотивация не восполнит серьезный дефицит навыков – и наоборот. Если вы используете более сложную комбинацию входных параметров, то точность ваших прогнозов повысится и станет больше, чем у модели, которая не в состоянии проявить подобную гибкость. С другой стороны, сложные правила зачастую дают вам лишь иллюзию достоверности и фактически наносят ущерб качеству ваших предположений. Некоторые хитрые комбинации действительно эффективны, однако в большинстве из них нет смысла.