Шум. Несовершенство человеческих суждений

Две из шести категорий представляли из себя комплексные показатели и потому более подходили для прогнозирования. Корреляция по среднему баллу, полученному ребенком в школе, составила 0,44 (ПС=65 %), а корреляция по суммарному индексу материальных затруднений за предшествующие 12 месяцев – 0,48 (ПС=66 %). Этот индекс определялся ответами на 11 вопросов, таких как «Постоянно ли вы голодали?» и «Отключали ли вам телефон за неуплату?». Комплексные показатели зарекомендовали себя как более подходящие для прогнозирования и более предсказуемые в категориях разовых событий. Основной вывод по результатам исследований был следующим: большой объем предиктивной информации недостаточен для прогноза разовых событий в жизни людей, и даже прогноз комплексных показателей довольно серьезно ограничен.

Наблюдаемые здесь результаты типичны; во многих случаях заявленная социологами корреляция попадает в этот диапазон. В более обширном обзоре по социальной психологии¹⁴⁶, включающем в себя 25 тысяч исследований и 8 миллионов предметов обсуждения за период более ста лет, был сделан вывод, что «результативность прогнозов в социальной психологии довольно низка: коэффициент корреляции обычно не превосходит 0,21». Более высокая корреляция – например упомянутая ранее корреляция порядка 0,60 между ростом и размером стопы взрослого человека – обычна для физических параметров и крайне редко встречается в социологии. Обзор 708 исследований¹⁴⁷ на поведенческую и когнитивную тематику выявил, что всего в 3 % из них корреляция оказалась 0,50 и выше.

Настолько невысокий коэффициент корреляции может вас удивить, если вы начитались статей, в которых результаты заявлены как «статистически значимые» или даже «весьма значимые». Статистические термины зачастую вводят непрофессионалов в заблуждение, и «значимый» – наихудший тому пример. Когда результат объявляется «значимым», из этого не следует, что описываемый эффект устойчив. Это по сути всего лишь утверждение типа «маловероятно, что выявленная зависимость всего лишь игра случая». На достаточно большой выборке корреляция может быть одновременно и «очень значимой», и, наоборот, «слишком незначительной, чтобы ее обсуждать».

Ограниченная предсказуемость однократных событий в знаменитом исследовании доносит до нас отрезвляющую весть о разнице между пониманием и прогнозом. Программа FFCWS оказалась настоящим сокровищем для социологии, и, как мы увидели, собранные в ходе ее проведения данные использованы весьма плодотворно. Ученые, которые проводили эти исследования, несомненно ощущали уверенность, что их работа будет способствовать пониманию проблем, с которыми сталкиваются уязвимые семьи. К несчастью, ощущение прорыва не может соперничать со способностью делать дискретные прогнозы отдельных событий в жизни отдельных людей. Вступление к статье об эксперименте с базой данных программы FFCWS содержит грозное предостережение: «Исследователи должны согласовывать¹⁴⁸ свои фантазии насчет понимания людских судеб с тем фактом, что ни один из прогнозов не окажется достаточно точным».

Понимание и прогнозирование

Логика, лежащая в основе столь пессимистичного вывода, требует некоторого уточнения. Когда авторы эксперимента с программой FFCWS приравняли понимание к прогнозированию (скорее отсутствие одного к невозможности другого), они использовали термин понимание в особом смысле. У этого слова есть и другие значения: понимание математической формулы или сущности любви не наделяет вас способностью делать конкретные прогнозы.

Тем не менее в социологических исследованиях и повседневных разговорах утверждение о том, что мы понимаем какие-то вещи, равносильно заявлениям о том, что нам понятны их причины. Социологи, подбиравшие и изучавшие тысячи переменных при работе с программой FFCWS, искали причины наблюдаемых событий. Врачи, которые понимают, что именно беспокоит пациента, заявляют: причиной наблюдаемых симптомов является диагностированная ими патология. Понять – значит описать причинную цепочку¹⁴⁹. Способность делать прогнозы является мерой того, правильно ли была идентифицирована такая цепочка. А корреляция как мера точности прогнозов – это мера того, сколько причинных связей мы можем объяснить.

Последнее утверждение может вас удивить, если вы попали под чары элементарной статистики и запомнили часто повторяющееся предупреждение: «корреляция не подразумевает причинно-следственной связи». Рассмотрим, например, корреляцию между размером обуви и математическими способностями детей: вполне очевидно, что одна переменная не зависит от другой. А корреляция возникает ввиду того, что и размер обуви, и познания в математике увеличиваются с возрастом. Эта корреляция реальна и подкрепляет прогноз: если вам известно, что у конкретного ребенка большой размер стопы, вы можете спрогнозировать и больший уровень его познаний в математике; а тот ребенок, у которого маленький размер стопы, знает меньше. Однако из этой корреляции вам не следует делать выводы о причинной связи.