Идиот или гений? Как работает и на что способен искусственный интеллект

Необходимость переноса обучения – серьезное препятствие. Но есть и другие причины, по которым успех обучения с подкреплением в играх будет сложно повторить в реальном мире. Игры вроде Breakout и го идеально подходят для обучения с подкреплением, потому что обладают четкими правилами, понятными функциями вознаграждения (например, наградами за набранные очки или победу) и относительно небольшим набором допустимых действий (ходов). Кроме того, игроки имеют доступ к “полной информации”: все компоненты игры всегда видны всем игрокам, а “состояние” игрока не предполагает скрытых или неопределенных аспектов.

Реальный мир очерчен не так четко. Дуглас Хофштадтер отметил, что от действительности оторвана даже сама концепция однозначно определенного “состояния”. “Реальные ситуации не имеют рамок в отличие от ситуаций в игре в шахматы или го… Реальная ситуация лишена границ, и невозможно понять, что относится к ней, а что нет”[224].

В качестве примера представьте, что с помощью обучения с подкреплением робот учится выполнять весьма полезную реальную задачу: забирать грязные тарелки из раковины и класть их в посудомоечную машину. (Подумайте только, какую гармонию принес бы такой робот в семью!) Как определить “состояние” робота? Стоит ли учитывать все, что попадает в поле его зрения? А содержимое раковины? А содержимое посудомоечной машины? А что насчет собаки, которая подошла облизать тарелки и которую нужно прогнать? Как бы мы ни определили состояние, роботу необходимо будет распознавать различные объекты – например, тарелку (которую следует поставить на нижнюю полку посудомоечной машины), кружку (на верхнюю полку) и губку (которой в машине вообще не место). Как мы видели, компьютеры пока очень плохо справляются с распознаванием объектов. Кроме того, роботу нужно будет учитывать объекты, которых он не видит, – например, кастрюли и сковородки, скрытые на дне раковины. Роботу также придется брать различные объекты и помещать их (аккуратно!) в соответствующие места. Для этого ему необходимо научиться выбирать одно из множества доступных действий, чтобы контролировать положение тела, работу механических “пальцев”, перемещение объектов из раковины на верное место в посудомоечной машине и так далее[225].

Игровым агентам DeepMind понадобились миллионы итераций обучения. Если мы не хотим разбить миллионы тарелок, обучать робота придется в симуляции. Создать точную компьютерную симуляцию игры несложно – ведь на самом деле никакие элементы игры не двигаются, мячи не отскакивают от ракеток, а кирпичи не взрываются. Создать симуляцию загрузки посудомоечной машины гораздо сложнее. Чем выше ее реалистичность, тем медленнее она работает на компьютере, и даже с очень быстрым компьютером ужасно сложно учесть все физические силы и другие аспекты загрузки посудомоечной машины, чтобы сделать симуляцию максимально приближенной к жизни. Не стоит также забывать о несносной собаке и других непредсказуемых аспектах реального мира – как нам понять, что нужно включить в компьютерную симуляцию, а что можно без проблем опустить?

Зная об этих проблемах, Андрей Карпатый, директор Tesla по ИИ, отметил, что в подобных реальных задачах “практически все допущения, которые позволяет сделать го и которыми пользуется AlphaGo, нарушаются, а потому любой успешный метод должен выглядеть совсем иначе”[226].

Никто не знает, каким станет этот успешный метод. Сфера глубокого обучения с подкреплением все еще довольно молода. Описанные в настоящей главе результаты можно считать доказательством того, что комбинация глубоких сетей и Q-обучения удивительно хорошо работает в весьма интересных, хоть и узких, областях, и, хотя я перечислила ряд проблем, с которыми сталкиваются исследователи, многие сегодня ищут способ применять обучение с подкреплением более широко. Игровые программы DeepMind пробудили новый интерес к отрасли, и глубокое обучение с подкреплением в 2017 году вошло в список 10 прорывных технологий по версии журнала Technology Review, издаваемого в MIT. В последующие годы, когда обучение с подкреплением достигнет зрелости, я буду ждать появления робота, который самостоятельно научится загружать посудомоечную машину, на досуге играя в футбол и го.

Часть IV Искусственный интеллект и естественный язык

Глава 11 В компании слов

Пора рассказать вам одну историю.