Как мы принимаем решения

В то время как массовая пресса превозносила потрясающее достижение Deep Blue — машина переиграла самого великого шахматиста в мире, — Тезауро был озадачен ограниченностью ее возможностей. Машина, способная думать в миллионы раз быстрее, чем ее человеческий противник, с трудом выиграла матч. Тезауро понял, что проблемой всех стандартных программ ИИ, даже таких блестящих, как у компьютера Deep Blue, является негибкость. Большая часть интеллекта Deep Blue была заимствована у других шахматных гроссмейстеров, чья мудрость была оцифрована и заложена в его программу. (Программисты из IBM также изучили предыдущие шахматные матчи Каспарова и настроили программу на использование его повторяющихся стратегических ошибок.) Но сама машина не могла учиться. Вместо этого она принимала решения, предсказывая вероятные последствия нескольких миллионов различных шахматных ходов. Ход с максимальной предсказанной «ценностью» был тем, который компьютер в результате и совершал. Для Deep Blue игра в шахматы была просто бесконечной серией математических задач.

Конечно, такой вид искусственного интеллекта не является точной моделью человеческого сознания. Каспаров смог соревноваться на том же уровне, что и Deep Blue, хотя его мозг обладал гораздо меньшей вычислительной мощностью. Удивительная догадка Тезауро состояла в том, что нейроны Каспарова были так эффективны потому, что они сами себя натренировали. Их усовершенствовал многолетний опыт выявления едва различимых пространственных шаблонов на шахматной доске. В отличие от Deep Blue, анализировавшего каждый возможный ход, Каспаров мог сразу взвесить возможные стратегические варианты и сосредоточить свои умственные силы на оценке только самых перспективных из них.

Тезауро решил создать программу ИИ, которая бы действовала как Гарри Каспаров. Для своей модели он выбрал нарды (backgammon) и назвал программу TD-Gammon. (TD, temporal difference, означает «временное различие»). Deep Blue был изначально запрограммирован на игру в шахматы, а программа Тезауро начинала с чистого листа. Сначала ее ходы были совершенно случайными. Она проигрывала каждый матч и делала глупые ошибки. Но компьютер недолго оставался новичком — TD-Gammon был запрограммирован так, чтобы учиться на собственном опыте. Днем и ночью он играл в нарды сам с собой, терпеливо выясняя, какие ходы наиболее эффективны. После сотен тысяч партий TD-Gammon мог выиграть у лучших человеческих игроков в мире.

Как машина превратилась в эксперта? Хотя математические подробности программы Тезауро утомительно сложны, базовый подход крайне прост[13]. TD-Gammon порождал набор предсказаний о том, как будет развиваться игра в нарды. В отличие от Deep Blue, это компьютерная программа не исследовала каждое возможное перемещение. Вместо этого она действовала как Гарри Каспаров и порождала предсказания, основываясь на своем прошлом опыте. Программное обеспечение сравнивало эти предсказания с реальным ходом игры. Выявленные несоответствия становились материалом для обучения, и программа стремилась постоянно сокращать «ложный сигнал». В результате точность предсказаний постоянно росла, и, следовательно, стратегические решения программы становились все более эффективными и разумными.

В последние годы та же стратегия использовалась для решения всевозможных сложных задач от программирования работы групп лифтов в небоскребах до составления расписания полетов. «Эти самообучающиеся программы доказали свою полезность для решения любых задач с, казалось бы, бесконечным количеством возможностей, — говорит Рид Монтагью. — Ведь лифты и самолеты можно распределить в самых разных последовательностях». Самое главное различие между программами обучения с подкреплением и традиционными подходами состоит в том, что эти новые программы сами находят оптимальные решения. Никто не говорит компьютеру, как организовать работу лифтов. Вместо этого он систематически обучается методом проб и ошибок, пока после определенного числа проб лифты не начинают ездить с максимально возможной эффективностью. Ошибки, казавшиеся неизбежными, успешно устранены.

Этот метод программирования довольно точно отражает действие дофаминовых нейронов. Клетки мозга тоже измеряют несоответствие ожидания конечному результату. Они используют свои неизбежные ошибки для повышения производительности, в конечном счете обращая неудачу в успех. Рассмотрим, к примеру, эксперимент, известный как «айовский игровой тест». Он был разработан нейробиологами Антонио Дамасио и Антуаном Бекара. Игра проводилась следующим образом: человеку — «игроку» — выдавалось четыре колоды карт, две черных и две красных, и 2000 долларов на игру. Каждая карта сообщала игроку, выиграл он деньги или проиграл. Общая рекомендация состояла в том, чтобы переворачивать карты из одной из четырех колод и выиграть как можно больше денег.