Шум. Несовершенство человеческих суждений

Эти модели построены на одной особенности множественной регрессии, которая удивляет большинство людей. Допустим, вы используете два прогностических фактора, от которых в значительной степени зависит итоговый прогноз, – их корреляция с конечным результатом составляет 0,60 (ПС=71 %) и 0,55 (ПС=69 %). Предположим также, что эти два прогностических фактора коррелируют друг с другом (коэффициент 0,50). Попробуйте угадать, каков будет ваш прогноз, если два фактора будут в оптимальном соотношении? Ответ вас разочарует: корреляция 0,67 (ПС=73 %). Выше, однако совсем ненамного.

Пример иллюстрирует общее правило: сочетание двух и более коррелирующих между собой прогностических факторов дает лишь немногим более удачный результат, чем лучший из них сам по себе. Именно потому что в реальной жизни факторы почти всегда коррелируют между собой, этот статистический факт способствует применению на практике экономных методов с малым числом предикторов. Простые правила, которые требуют небольшого числа расчетов или обходятся вообще без них, давали в некоторых случаях впечатляюще точные прогнозы, сравнимые с моделями на основе большего количества предикторов.

В 2020 году команда исследователей¹²¹ подвела итоги масштабных усилий по применению экономных методов к различным задачам; например, когда судьи встают перед выбором – освободить обвиняемых под залог до вынесения приговора или нет. Их решение, по сути, является прогнозированием поведения обвиняемого. Если судья неоправданно откажет в залоге и обвиняемого отправят за решетку без необходимости, то конкретный человек и общество понесут значительные издержки. Если же под залог отпустят не того, он может скрыться или даже совершить другое преступление.

Модель, построенная исследователями, использует всего две переменных, от которых наиболее сильно зависит вероятность, что обвиняемый скроется от суда: его возраст (чем старше человек, тем меньше риск побега) и количество прошлых неявок в суд (те, кто нарушал условия освобождения ранее, склонны к рецидивам). Модель переводила эти переменные в баллы, на основании которых и рассчитывался фактор риска. Для этого не требовался компьютер и даже калькулятор.

Протестированная на реальном массиве данных, экономная модель выполнила свою задачу так же хорошо, как статистические модели с использованием значительно большего числа переменных. Она прогнозировала риски лучше, чем это делали практически все судьи.

Те же самые экономичные методы, использующие до пяти параметров с целочисленными весами (от -3 до +3), были применены к разнообразным задачам, таким как оценка степени опасности новообразований по результатам маммографии, диагностике сердечно-сосудистых заболеваний, прогнозированию кредитных рисков. Во всех этих задачах экономные правила показали себя так же хорошо, как более сложные регрессивные модели (хотя в большинстве случаев не так хорошо, как модели на основе методов машинного обучения).

В качестве другой демонстрации возможностей простых правил отдельная команда исследователей^121а изучала сходную, хотя и более специфическую судебную задачу: прогноз рецидивизма. Используя всего две переменных¹²², простые правила оказались способны поспорить с надежностью существующих инструментов, которые использовали 137 переменных, чтобы оценить риски для каждого подсудимого. Неудивительно: эти две переменных (возраст и количество ранее совершенных преступлений) близки к двум факторам в примере с освобождением под залог, и их связь с преступным поведением широко документирована¹²³.

Привлекательность экономных методов состоит в том, что они прозрачны и просты в исполнении. Более того, они имеют преимущество перед более сложными моделями вследствие относительно малых затрат.

Больше сложности: методы машинного обучения

Во второй части нашего обзора мы двинемся в противоположном направлении диапазона – к большей сложности. Что если мы сумеем взять еще больше прогностических факторов, собрать еще больше данных о каждом, выявить взаимосвязи, которые человеку обнаружить не под силу, и создать на их основе модель, которая добьется лучших прогнозов? В сущности, это нам и обещает ИИ.

Продвинутые модели отличает умение работать с очень большими массивами данных¹²⁴, и растущая возможность доступа к таким наборам данных – одна из основных причин стремительного прогресса ИИ в последние годы. Например, благодаря таким массивам появилась возможность механической обработки даже там, где требуется применить правило сломанной ноги. Это несколько загадочное выражение обязано своим появлением воображаемой ситуации, придуманной Милом. Допустим, некая модель разработана, чтобы прогнозировать вероятность посещения кинотеатра сегодня вечером. Если вы случайно узнали, что конкретный человек сломал ногу, то лучше модели представляете, как он проведет вечер – независимо от степени вашего доверия модели.