Другой пример подхода «снизу вверх», имеющий длинную историю – это обучение с подкреплением. В 1950-х годах Б. Ф. Скиннер, отталкиваясь от исследований Джона Уотсона[169], сумел, как хорошо известно, «запрограммировать» голубей на выполнение сложных действий – скажем, сопровождать ракеты «воздух – земля» до цели (чем ни военное применение ИИ?) – благодаря тщательно проработанной схеме поощрений и наказаний. Его базовая идея заключалась в том, что поощряемые действия будут повторяться и далее, тогда как караемых действий станут избегать, и в итоге это приведет к формированию желаемого поведения. Даже во времена Скиннера понимали, что регулярное повторение элементарных процессов может обеспечить комплексное поведение. Компьютеры предназначены для многократного выполнения простых операций в масштабах, непредставимых для человеческого воображения, и таким вот образом вычислительные системы могут обучиться поразительно сложным навыкам.
К примеру, исследователи проекта Google DeepMind использовали комбинацию глубинного обучения и обучения с подкреплением, чтобы научить компьютер играть в видеоигры для «Атари»[170]. Машина ничего не знала об этих играх. Она действовала случайным образом, фиксируя картинку на экране в конкретный момент времени и оценивая количество набранных очков. Глубинное обучение помогало интерпретировать изображения на экране, а обучение с подкреплением вознаграждало систему за набранные баллы. В итоге компьютер научился очень хорошо играть в некоторые игры, но полностью провалился в освоении других, хотя люди без труда осваивали как первые, так и вторые.
Подобная комбинация глубинного обучения и обучения с подкреплением позволила добиться успеха в проекте AlphaZero компании DeepMind: эта программа сумела взять верх над игроками людьми как в шахматах, так и в го, располагая лишь базовыми знаниями правил и некоторыми способностями к планированию. У AlphaZero имеется еще одна любопытная особенность: программа обучается, разыгрывая сотни миллионов партий сама с собой. При этом она вычленяет ошибки, ведущие к поражениям, и повторяет и совершенствует тактики, ведущие к победам. Такие системы, наряду с теми, которые опираются на так называемые генеративные состязательные сети, одновременно анализируют и порождают данные.
Когда в вашем распоряжении вычислительные мощности для применения этих методик к чрезвычайно большим массивам данных или миллионам сообщений электронной почты, изображений в Инстаграм или голосовых записей, можно решать задачи, прежде казавшиеся непреодолимо сложными. Отсюда и нынешний азарт, обуревающий исследователей. Но стоит помнить, что эти задачи – скажем, узнавание кошки на картинке или произнесение слова «Сири» – тривиальны для маленького ребенка. Одно из наиболее интересных открытий в области компьютерных наук состоит в том, что задачи, простые для нас (то же узнавание кошек), затруднительны для компьютеров; последние справляются с ними намного хуже, чем с освоением шахмат или го. Компьютерам требуются миллионы образцов для классификации объектов, которые мы можем классифицировать на основании всего нескольких примеров. Эти системы, основанные на принципе «снизу вверх», могут обобщать новые образцы и довольно уверенно распознать новое изображение как изображение кошки. Но они добиваются этого результата совершенно иными способами, чем люди. Некоторые изображения, почти идентичные изображению кошки, мы с вами вообще не признаем за изображения кошек, тогда как другие – этакие скопления пятен и смутные образы – сочтем релевантными.
Подход «сверху вниз» активно применялся на ранних этапах изучения искусственного интеллекта, а в 2000-х годах случилось его возрождение – в форме вероятностных, или байесовских, генеративных моделей.
Первые попытки использовать этот подход выявили две существенные проблемы. Во-первых, для большинства шаблонов данных возможно в принципе дать самые разные объяснения: не исключено, что полученное мною электронное письмо из журнала является подлинным, просто оно попало ко мне по ошибке. Во-вторых, откуда вообще берутся концепции, используемые в генеративных моделях? Платон и Н. Хомский уверяли, что мы рождаемся с этими концепциями. Но как тогда объяснить изучение и усвоение новейших идей науки? Или даже понимание маленькими детьми того, кто такие динозавры и что такое космический корабль?