Шум. Несовершенство человеческих суждений

Что означает в действительности такая уверенность? Мы обсудим этот вопрос в двух контекстах: социологическом и применительно к повседневной жизни.

Прогнозирование жизненного пути

В 2020 году группа из 112 исследователей под руководством Сары Макланахан и Мэтью Салганика, профессоров социологии Принстонского университета, опубликовала в журнале Pro-ceedings of the National Academy of Sciences необычную статью ¹⁴³. Исследователи задались целью разобраться, представляют ли в действительности социологи, как в будущем сложится жизнь социально уязвимых семей. Насколько успешно социологи могут предугадать события в жизни семьи, зная то, что они знают? В частности, какого уровня точности могут добиться эксперты в своих прогнозах, используя информацию, которую обычно собирают и затем применяют в своих исследованиях социологи? В рамках нашей терминологии целью исследования было измерить уровень объективной неосведомленности, который остается после того, как социологи сделали свою работу.

Авторы статьи воспользовались материалами программы FFCWS[11] – широкомасштабного долгосрочного исследования, в ходе которого детей наблюдали с рождения до пятнадцати лет. Огромная база данных содержала несколько тысяч элементов информации о семьях, где росли почти пять тысяч детей из крупных городов США. Большинство детей воспитывались не состоящими в браке родителями. Эти данные включали в себя такие сведения, как уровень образования и род занятий бабушек и дедушек, состояние здоровья всех членов семьи, показатели экономического и социального положения, ответы на множество анкет и тесты на когнитивные установки и личностные качества. Социологи сумели как нельзя лучше распорядиться таким обилием ценной информации: на основе полученных от FFCWS данных было написано более 750 научных статей. Во многих из этих документов анализировались социальные условия, в которых воспитывались дети, чтобы объяснить их последующие достижения и неудачи: например, успехи в средней школе или привлечение к уголовной ответственности.

Исследования принстонской команды сосредотачивались на прогнозируемости развития событий по шести различным категориям к тому времени, когда ребенку исполнится пятнадцать лет, таким как выселение из квартиры, средний балл в школе и общая оценка материального положения семьи. Организаторы использовали метод, названный ими «метод типовых задач». Они пригласили команды ученых для состязания в вынесении прогнозов по шести выбранным категориям с использованием доступного массива данных о каждой семье, участвовавшей в программе FFCWS. Подобный тип задач нестандартен для социологии, хотя вполне обычен для информатики, где команды часто приглашают для состязания, например, в машинном переводе стандартных текстов или в распознавании животных по большому набору фотографий. Достижения команды-победителя устанавливают планку для следующих состязаний. В социологических задачах прогнозирования, где невозможно ожидать быстрых улучшений, разумно использовать в качестве меры предсказуемости развития событий наиболее точный прогноз из всех, участвовавших в состязании, – другими словами, остаточный уровень объективной неосведомленности.

Исследование вызвало заслуженный интерес среди специалистов. Последний доклад представил результаты 160 высококвалифицированных команд, выбранных из внушительного международного пула претендентов. Большинство из выбранных конкурентов использовали методы машинного обучения и позиционировали себя как специалистов по базам данных.

На первом этапе состязаний команды участников имели доступ ко всем данным на половинной выборке; данные включали варианты развития событий по шести категориям. Команды использовали эти «тренировочные данные» для обучения алгоритма. Затем алгоритмы применялись ко второй выборке, которая не участвовала в тренировке. В качестве единицы измерения точности использовали MSE: погрешность прогнозирования в каждом случае определялась как квадрат разности между реальным и прогнозируемым результатом.

Насколько хороши были модели победителей? Продвинутые алгоритмы на основе методов машинного обучения, прошедшие тренировку на больших массивах данных, конечно, обогнали простые линейные модели (и смогли бы оставить позади опытных экспертов, будь у них такая возможность). А вот превосходство моделей на основе ИИ над самой простой моделью оказалось совсем незначительным, и точность их прогнозов осталась плачевно низкой. С прогнозированием случаев выселения из квартиры лучшая модель добилась корреляции 0,22¹⁴⁴¹⁴⁵ (ПС=57 %). Схожие результаты были выявлены для других однократных событий – например, был ли первый опекун уволен, имел ли он профессию или на сколько баллов ребенок оценил свою так называемую «хватку» – черту характера, которая сочетает в себе упорство и настойчивое стремление к конкретной цели. Здесь корреляция колебалась между 0,17 и 0,24 (ПС=55–58 %).