Шум. Несовершенство человеческих суждений

Наш краткий обзор показал, как шум ухудшает качество клинических оценок. Над человеком легко одерживают победу простые формулы – модели реальности, «модели экспертов» и даже случайно сгенерированные модели. Это открытие свидетельствует в пользу «бесшумных» методов. Такие правила и алгоритмы мы рассмотрим в следующей главе.

К разговору об оценках и моделях

«Люди уверены, что они используют комплексный подход и проявляют изобретательность, вынося свои оценки. Однако сложность и изобретательность большей частью напрасная трата сил – обычно они не помогают превзойти точность простых моделей».

«Даже по прошествии более шестидесяти лет после выхода книги Пола Мила нас по-прежнему шокирует сама мысль о том, что механическое прогнозирование одерживает верх над человеком».

«В оценках столько шума, что «бесшумная» модель эксперта добивается более точных прогнозов, чем собственно эксперт».

Глава 10 «Бесшумные» правила

В последние годы искусственный интеллект (ИИ), особенно на основе методов машинного обучения, позволил компьютерам выполнять множество задач, которые ранее считались доступными только человеку. Алгоритмы на основе методов машинного обучения распознают лица, переводят с одного языка на другой и расшифровывают рентгеновские снимки. Они могут решать вычислительные задачи – например, генерировать управляющие команды для тысяч механизмов одновременно с поразительной скоростью и точностью. Эти алгоритмы выполняют сложные задачи по прогнозированию: предугадывают решения Верховного суда США, определяя, какие из обвиняемых с наибольшей вероятностью будут выпущены под залог, и оценивают, какие из звонков в органы опеки требуют незамедлительного приезда социального работника.

Хотя в наше время, слыша слово «алгоритм», мы подразумеваем компьютерные программы, термин имеет более широкое значение. В словаре алгоритм определяется как «процесс или набор правил, описывающий порядок действий при вычислениях или при решении других задач, в частности с использованием компьютера». Согласно данному определению, простые модели и другие виды механического прогнозирования, описанные нами в предыдущей главе, также являются алгоритмами.

По сути, большинство типов механических подходов к решению задач, от почти смехотворных простых правил до утонченных и непостижимых машинных алгоритмов, превосходят экспертные оценки. И одна из основных – хотя и не единственных – причин этого превосходства состоит в том, что все механические подходы свободны от шума.

Чтобы изучить различные типы подходов на основе алгоритмов и понять, как и при каких условиях каждый из них может быть полезен, мы начнем наш обзор с моделей из главы 9: простых моделей на базе множественной регрессии (то есть линейных регрессивных моделей). От этой отправной точки мы двинемся в двух противоположных направлениях – сначала поищем крайнюю простоту, а затем перейдем к повышенной сложности (рисунок 11).

Рис. 11. Четыре типа правил и алгоритмов

Больше простоты: грубые и прекрасные

Робин Доуз был еще одним членом команды из Юджина, штат Орегон, которая в 1960-е и 1970-е годы изучала прогнозирование. В 1974 году Доуз добился прорыва в упрощении задач прогнозирования. Ему пришла на ум поразительная и почти еретическая идея: вместо использования множественной регрессии для определения точного веса каждого прогностического фактора он предложил придать всем им равный вес.

Доуз назвал свою равновесную формулу неточной линейной моделью. Его удивительное открытие состояло в том, что равновесные модели практически так же точны, как и «правильные» линейные модели, и далеко опережают клинические прогнозы¹¹⁴.

Даже сторонники неточных моделей соглашаются, что это утверждение неправдоподобно и «противоречит статистической интуиции»¹¹⁵. Более того, Доузу и его ассистенту Бернарду Корригану вначале пришлось побороться за публикацию своей работы в научных журналах; издатели им попросту не верили. Если вы вспомните пример Моники и Натали в прошлой главе, то, скорее всего, поверите, что одни прогностические факторы более весомы, чем другие. Многие люди, к примеру, придадут большее значение лидерским качествам, чем техническим навыкам. Как тупое, невзвешенное среднее может спрогнозировать чьи-то успехи лучше, чем тщательно вычисленное средневзвешенное значение? Или лучше, чем признанный эксперт?