Искусственный интеллект на службе бизнеса

Что же изменилось? Во-первых, объем данных и мощность компьютеров стали достаточными для повсеместного использования машинного обучения. В 1990-е было трудно собрать действительно большой объем данных. Например, в классическом исследовании прогнозирования оттока использовалось 650 клиентов и менее 30 переменных.

К 2004 году компьютерная обработка и хранение данные усовершенствовались. В турнире Дьюка обучающий набор данных содержал информацию о сотнях переменных для десятков тысяч клиентов. При таких условиях методы машинного обучения улучшились до уровня регрессии, если не превзошли его.

Современные исследователи прогнозируют отток на основе тысяч переменных и миллионов клиентов. Возросшая мощность компьютеров дала возможность анализировать огромный объем данных, включая, помимо чисел, тексты и изображения.

Например, в модели прогнозирования оттока клиентов мобильной связи исследователи использовали данные почасовой истории звонков помимо стандартных переменных, таких как сумма счета и пунктуальность оплаты.

Методы машинного обучения улучшились также за счет эффективного использования доступных данных. В конкурсе Дьюка ключевой составляющей успеха был выбор, какие данные использовать из сотен имеющихся и какую применять статистическую модель. В лучших методах того времени, будь то машинное обучение или классическая регрессия, переменные и модель выбирали с помощью комбинации статистических критериев и интуиции. Современные методы машинного (и особенно глубокого) обучения позволяют гибкость, то есть переменные сочетаются самым неожиданным образом. Скажем, клиенты со счетами на большие суммы, расходующие минуты в начале расчетного периода, уйдут с меньшей вероятностью, чем клиенты со счетами на более крупные суммы, но расходующие минуты в конце расчетного периода. Или клиенты с внушительным счетом за роуминг в выходные, которые к тому же задерживают оплату и часто обмениваются текстовыми сообщениями, уйдут с повышенной вероятностью. Такие комбинации могут сыграть в прогнозах решающую роль, но их трудно предусмотреть. И поэтому их не включают в стандартные регрессионные модели. Машинное обучение предоставляет компьютеру выбор комбинаций и взаимодействий, имеющий значение для него, а не для программиста.

Прогресс методов машинного обучения в целом и глубокого обучения в частности свидетельствует о возможности эффективного применения доступных данных для точного прогнозирования оттока клиентов. И сейчас очевидно их превосходство над регрессией и многими другими методами.

Прогнозирование в других сферах

Помимо оттока клиентов машинное обучение улучшило прогнозирование во многих других сферах, от рынка до погоды.

Финансовый кризис 2008 года ознаменовал крах основанных на регрессии прогностических методов. Отчасти в кризисе виновны прогнозы вероятности дефолта по обеспеченным долговым обязательствам. В 2007 году агентства уровня Standard & Poor прогнозировали, что в ближайшие пять лет вероятность не получить доход по обязательствам с рейтингом ААА[27] составит 1 из 800. Пятью годами спустя больше одного из четырех обеспеченных долговых обязательств не принесли дохода. Изначальный прогноз оказался провальным, несмотря на обширные данные по предыдущим дефолтам.

Проблема заключалась не в недостатке данных, а в том, как аналитики использовали их для прогнозирования. Рейтинговые агентства исходили из моделей множественной регрессии, в которых цены на недвижимость на разных рынках друг с другом не сопоставлялись. В этом и состояла ошибка, и не только в 2007 году, но и раньше. Прибавьте сюда одновременное потрясение нескольких рынков недвижимости, и вероятность потерь на обеспеченных долговых обязательствах резко возрастает, даже если они распределены по многим городам США.

Аналитики создают регрессионные модели на основе гипотез о том, что именно (и с какими характеристиками) имеет значение, – для машинного обучения все это не нужно. Модели машинного обучения особенно хороши для вычленения полезных переменных из множества и определения, что не имеет значения, а что, как ни удивительно, наоборот. К сегодняшнему дню интуиция и гипотезы аналитиков утратили свою значимость. Таким образом, машинное обучение позволяет делать прогнозы на основе непредусмотренных сопоставлений, как, например, то, что цены на недвижимость в Лас-Вегасе, Фениксе и Майами изменятся одновременно.

Если это всего лишь прогноз, за что его называют интеллектом?

Недавний прогресс в машинном обучении преобразовал применение статистики для прогнозирования. Последний рывок в развитии ИИ наводит на мысль, что машинное обучение – это всего-навсего «навороченная традиционная статистика». В каком-то смысле так и есть, поскольку цель та же – заполнение информационных пробелов. К тому же в процесс машинного обучения входит поиск решения с минимизацией ошибок.