Шум. Несовершенство человеческих суждений

В главе 9 мы упоминали обзор 136 исследований¹³⁹, которые продемонстрировали превосходство механической агрегации над клиническими оценками. В то время как доказательства этого превосходства, вне сомнения, «обширны и последовательны», разница в эффективности невелика. 93 исследования сосредоточились на бинарных оценках (да или нет); они измеряли «процент попадания» у клиницистов и формул. В среднем клиницисты оказались правы в 68 % случаев, формулы – в 73 %. Меньшая подгруппа (35 исследований) использовала в качестве меры точности коэффициент корреляции. В этом случае клиницисты получили среднюю корреляцию с конечным результатом 0,32 (ПС=60 %), а формулы – 0,56 (ПС=69 %). По обоим показателям формулы работали в равной степени лучше, чем клиницисты, однако ограниченная достоверность механических прогнозов бросается в глаза. Эффективность моделей не изменила картину довольно низкого предельного уровня прогнозируемости.

А что же искусственный интеллект? Как мы заметили, ИИ часто работает лучше простых моделей. Однако в большинстве случаев и его эффективность далека от идеальной. Рассмотрим, например, алгоритм прогнозирования при вынесении решений об освобождении под залог, обсужденный в главе 10. Мы видим, что при одном и том же количестве человек, которым отказано в освобождении, применение алгоритма может снизить уровень преступности до 24 %. Это впечатляющая победа над судьей-человеком, однако если бы алгоритм мог предсказать с идеальной точностью, какие из обвиняемых совершат преступление повторно, уровень преступности мог бы снизиться еще больше. Прогнозирование будущих преступлений в фильме «Особое мнение» неспроста всего лишь фантастика: в предсказании поведения человека немало объективной неосведомленности.

В другом исследовании под руководством Сендила Муллайнатана и Зияда Обермейера была смоделирована постановка диагноза при инфаркте¹⁴⁰. Если у пациента имеются симптомы инфаркта, медикам отделения «Скорой помощи» приходится решать, требуются ли ему дополнительные обследования. В принципе такие обследования нужны только в том случае, если риск достаточно высок: они не только дорогостоящи, но к тому же инвазивны и сами по себе рискованны. Поэтому, если нет особой опасности для пациента, они нежелательны. Таким образом, при назначении обследований врачи должны оценить риск инфаркта. Для этого исследователи создали модель на базе ИИ. Модель использует более 2400 переменных и основана на большом количестве случаев (1,6 миллиона пациентов и 4,4 миллиона обращений к врачам). При таком массиве данных модель, вероятно, достигает нижнего предела объективной неосведомленности.

Неудивительно, что точность модели на базе ИИ оказалась заметно выше, чем у врачей. Чтобы оценить эффективность модели, обратим внимание на пациентов, которых модель отнесла к 10 %, имеющим максимальный риск. По результатам обследований инфаркт был выявлен у 30 % из них, в то время как в группе среднего риска – у 9,3 %. Уровень селективности модели впечатляет, хотя и далек от идеала. Можно сделать разумный вывод, что правильность диагнозов врачей ограничена рамками объективной неосведомленности не менее, чем несовершенством их оценок.

Отрицание неведения

Может показаться, что, настаивая на невозможности идеальных прогнозов, мы утверждаем очевидные вещи. Ясно, что утверждения о непредсказуемости будущего вряд ли можно назвать концептуальным прорывом. Тем не менее очевидность этого факта сравнима разве что с регулярностью, с которой его игнорируют, – что вновь и вновь подтверждают выводы исследователей об излишней самоуверенности в прогнозах.

Засилье самоуверенности проливает новый свет на наши неформальные опросы экспертов, доверяющих своей интуиции. Мы заметили, что люди часто принимают субъективные ощущения своей правоты за признак достоверности прогнозов. Например, после того как вы в главе 9 просмотрели результаты тестирования Натали и Моники и сделали на их основе логичные выводы, не что иное, как внутренний голос нашептывал вам, что Натали более сильный кандидат. Однако если вы уверены в своем прогнозе, вы стали жертвой иллюзии достоверности: точность прогноза на основе данной вам информации довольно низка.

Люди, не сомневающиеся в своей способности достигать невероятно высокого уровня точности прогнозов, не просто излишне самоуверенны. Они к тому же не признают наличия в своих оценках шумовых помех и смещения. Мало того что ставят себя выше других смертных, так еще и верят в предсказуемость событий, которые фактически непредсказуемы, безоговорочно отрицая существование неопределенности! Придерживаясь терминологии этой книги, мы можем назвать их позицию отрицанием неведения.