Искусственный интеллект на службе бизнеса

Поправки можно делать на несколько факторов одновременно: пойдет ли завтра дождь, если сегодня пасмурно, сейчас зима, дождь идет в 320 км к западу, в 160 км к югу солнечно, земля влажная, температура Северного Ледовитого океана низкая и дует юго-западный ветер со скоростью 24 км/ч? Однако все это обрастает громоздкими вычислениями. Только расчет среднего для семи категорий данных дает 128 комбинаций, а с дополнительными данными – в разы больше.

До машинного обучения множественная регрессия была эффективна для учета нескольких условий без необходимости рассчитывать десятки, сотни и тысячи условных средних значений.

Регрессия собирает данные и пытается извлечь результат с минимумом прогностических ошибок и с максимальной «точностью приближения», как ее называют.

К счастью, математическое значение термина точнее, чем это может показаться, исходя из формулировки. Регрессия минимизирует прогностические ошибки среднего значения и за крупные ошибки карает строже, чем за мелкие. Это достаточно надежный метод, особенно для работы с относительно небольшим объемом данных и при условии понимания, что в прогнозе самое главное. Например, если оценивать отток аудитории кабельного телевидения, то важны привычки людей; те, кто включает телевизор редко, с большей вероятностью откажутся от подписки на канал.

Кроме того, регрессионные модели способствуют генерации объективных результатов, поэтому при достаточном количестве прогнозов в среднем они будут точными. Хотя мы предпочитаем объективные прогнозы субъективным (в которых систематически переоценивается или недооценивается какой-либо показатель, например ценность), первые все еще не идеальны. Это утверждение можно проиллюстрировать старой статистической шуткой.

Физик, инженер и статистик отправились на охоту. В лесу они увидели оленя.

Физик прикинул расстояние до цели, скорость и понижение траектории пули, сделал нужные поправки, выстрелил – и промахнулся на полтора метра влево.

Расстроенный инженер упрекнул его: «Ты забыл сделать поправку на ветер. Дай сюда ружье!» Он лизнул палец, поднял руку вверх, определил направление и скорость ветра, выстрелил – и промахнулся на полтора метра вправо.

И тут статистик закричал: «Ура! Попали!» Заметим, что он даже не расчехлил ружье.

Идеальная точность в среднем иногда говорит о том, что каждый отдельный результат ошибочен. Регрессия может постоянно промахиваться на полтора метра влево и вправо. Даже если средний показатель оказывается верным, не исключено, что регрессия ни разу не попала в цель.

В отличие от регрессии, прогноз методом машинного обучения может быть ошибочным в среднем, но если промахивается, то ненамного. Статистики называют это допущением незначительных отклонений ради снижения расхождений.

Важное отличие машинного обучения от регрессионного анализа заключается в способе разработки новых методов. В процессе создания нового метода машинного обучения необходимо доказать повышенную эффективность на практике, для разработки же новых методов регрессии достаточно их работоспособности в теории. Сосредоточившись на практике, разработчики машинного обучения получают свободу для экспериментов, даже если их методы дают неверные оценки или отклонения в среднем. Именно свобода экспериментировать способствовала стремительным улучшениям, благодаря которым стало возможным воспользоваться преимуществами большого объема данных и быстродействующих компьютеров, появившихся в последние годы.

В конце 1990-х и начале 2000-х успех экспериментов с машинным обучением для прогнозирования оттока клиентов был скромным. Методы машинного обучения совершенствовались, но регрессия все еще давала в целом лучшие результаты. Данных хватало, а компьютеры не были настолько мощными, чтобы реализовать все преимущества машинного обучения.

Например, центр Teradata в Университете Дьюка в 2004 году провел турнир по анализу данных для прогнозирования оттока клиентов. Тогда подобные события были редкостью; любой мог подать заявку, а выигрыш выплачивался наличными. В призовых заявках использовались регрессионные модели. Некоторые методы машинного обучения продемонстрировали неплохие результаты, но методы нейронной сети, впоследствии совершившие революцию в ИИ, никуда не годились. В 2016 году все выглядело уже наоборот: в лучших моделях прогнозирования оттока клиентов использовалось машинное обучение, а модели с глубоким обучением (нейронными сетями) обошли все остальные.