Шум. Несовершенство человеческих суждений

При использовании простых моделей принцип сломанной ноги дает важный урок тем, кто принимает решения: он сообщает им, когда стоит отвергнуть модель, а когда нет. Если у вас есть не вызывающая сомнений информация, которую модель не примет во внимание, это и есть та самая «сломанная нога», и вам лучше не учитывать рекомендации модели. С другой стороны, порой может случиться так, что вы не согласитесь с моделью даже при отсутствии конфиденциальной информации. В таких случаях соблазн не послушаться модели отражает ваш личный шаблон, который вы применяете к аналогичным предикторам. Когда же этот личный шаблон с высокой степенью вероятности неприменим, следует прислушаться к модели; ваше вмешательство, скорее всего, снизит точность прогноза.

Одна из причин успешной работы моделей на основе методов машинного обучения в сложных задачах – то, что они способны распознавать «сломанные ноги», причем намного лучше, чем кажется людям. Обработав огромный массив данных, включающий очень большое количество случаев, модель может отследить поведение завсегдатаев кинотеатров и в самом деле усвоить, например, что люди, посетившие больницы в те дни, когда они обычно ходят в кино, вероятнее всего, пропустят сегодня вечерний сеанс. Таким образом, усовершенствованные прогнозы редких событий сокращают необходимость человеческого контроля.

В том, что делает ИИ, нет ни магии, ни подлинного интеллекта – главное, найти больше различных сценариев. Как бы мы ни восхищались мощью умной машины, не следует забывать, что искусственному интеллекту потребуется еще некоторое время, чтобы понять, почему сломавший ногу человек не сможет пойти в кино.

Освобождение под залог: оптимальные решения

В то же самое время, когда вышеупомянутая команда исследователей применила к проблеме освобождения под залог простые правила, другая команда¹²⁵ под руководством Сендила Муллайнатана натаскивала на выполнение той же задачи продвинутую модель на основе ИИ. Группа имела доступ к более обширному массиву данных – 758 027 ранее принятых решений. В каждом случае исследователям была доступна та же информация, что и судьям: текущее преступление, имеющиеся судимости, предыдущие неявки в суд. Никакой демографической информации, кроме возраста, для тренировки алгоритма не использовалось. Исследователям также было известно в каждом конкретном случае, отпустили ли обвиняемого под залог; и если да, то явился ли он впоследствии в суд или был арестован повторно. (Из всех обвиняемых были освобождены 74 %; 15 % из них не явились в суд, и 26 % арестованы повторно.) С этими данными исследователи тренировали алгоритм¹²⁶ и оценивали его возможности. Поскольку модель построили на основе методов машинного обучения, она не ограничивалась линейными комбинациями. Обнаруживая более сложную закономерность в данных, модель использовала этот сценарий для усовершенствования своих прогнозов.

Модель была ориентирована на прогнозирование побега обвиняемого и оценивала риск в баллах; перед ней не ставился вопрос, освобождать обвиняемого под залог или нет. Такой подход признает, что максимально допустимый порог риска (то есть уровень риска, при превышении которого обвиняемому откажут в выпуске под залог) требует оценочных суждений, которые не под силу модели. Тем не менее исследователи вычислили: независимо от принятого порога риска, использование модели повысит эффективность судебных решений. Команда Сендила Муллайнатана рассчитала: если порог риска установлен так, что количество человек, которым отказано в освобождении под залог, остается таким же, как по решению судей, то уровень преступности может сократиться на 24 %, потому что за решетку попадут преступники, наиболее склонные к рецидиву. И наоборот, если порог риска установлен так, чтобы максимально сократить количество человек, которым отказано в освобождении под залог, причем без риска роста преступности, то количество взятых под стражу может уменьшиться на 42 %. Другими словами, модель на основе методов машинного обучения намного лучше судей справляется с задачей по прогнозированию и подсказывает, каких обвиняемых рискованно отпускать.

Модель, построенная обученной машиной, оказалась также более успешной, чем линейные модели, использующие ту же информацию. Причина звучит интригующе: «Алгоритмы на основе методов машинного обучения вылавливают¹²⁷ в комбинации переменных значимые совпадения, которые в иных случаях могли быть упущены». Способность алгоритмов легко находить сценарии, упущенные другими методами, особенно резко выражена в случае обвиняемых, которым алгоритм присвоил самую высокую степень риска. Другими словами, некоторые сценарии в массиве данных, пусть даже редкие, прогнозируют высокий риск. Это открытие – когда алгоритмы выхватывают редкие, но решающие факторы – возвращает нас к концепции сломанной ноги.