Семь главных игр в истории человечества. Шашки, шахматы, го, нарды, скрабл, покер, бридж

Классическим примером того, что хорошо умеет делать нейросеть, является распознавание цифр, написанных вручную. Эта задача актуальна, например, для почтовых отделений, где нужно быстро и точно маршрутизировать письма с использованием почтовых индексов. Каждая из рукописных цифр – 2 с плавными обводами, 4 с косой линией, 7 с перечеркиванием – поступает в компьютер в виде цифрового изображения. Поступившие во входной слой данные изображений просеиваются через многочисленные соединения и вычисления в скрытых слоях и в итоге попадают в выходной слой из 10 нейронов, каждый из которых соответствует определенной цифре. Чтобы считать рукописную 5 и выдать 5, машина должна научиться распознавать паттерны. Вначале программа почти ничего не может и предсказывает цифры не лучше, чем если бы делала это наугад. Однако она обучается и совершенствуется посредством так называемого алгоритма обратного распространения ошибки. Всякий раз, когда срабатывают сетевые синапсы, проводя числа через различные слои, и компьютер выдает неверную цифру, он несет определенные издержки. Мы велим программе гордиться своей работой и делать все возможное, чтобы минимизировать издержки. Это тоже своего рода игра. Сеть начинает реорганизовывать синаптические соединения соответствующим образом. Скрытые слои могут приобретать определенное назначение, независящее от программиста. Возможно, один слой начинает распознавать рукописные кривые, тогда как другой – косые линии. Так как эти связи изменяются, вычисления, выполняемые данной нейронной сетью, когда она видит следующую цифру, тоже меняются. Со временем точность прогнозирования возрастает. Попрактиковавшись в достаточной мере, нейронная сеть распознает цифры с поразительной точностью.

Она может делать практически то же самое, если ее задачей будет игра в шашки и кости. Такая нейронная сеть, как TD-Gammon, берет позицию в нардах, выполняет расчеты в скрытых слоях и включает «нейрон» на выходе, представляющий собой, как можно надеяться, оптимальный ход. Такие системы могут работать с биометрией, иностранными языками и городским ландшафтом: в наши дни нейросети являются «мозгом», стоящим за распознаванием лиц, машинным переводом, фильтрацией спама в электронной почте, беспилотными автомобилями и значительной частью того, что мы называем искусственным интеллектом. В подходе Тезауро к нардам явно имелся потенциал для универсального использования, который отсутствовал в более ранних исследованиях, посвященных шашкам и шахматам.

Тезауро стал публиковать результаты работы своей нейросети для нардов в научных журналах. В 1994 году он сообщал, что TD-Gammon стала играть на уровне мастера и что вместо создания бота, играющего все лучше, стоит пойти дальше. «Другие области применения могут включать стратегии торговли на финансовых рынках, стратегии боевых действий, а также такие управленческие задачи, как управление движением роботов, навигация и разработка траекторий движения», – писал он в журнале Neural Computation. Однако при этом добавлял: «На данный момент нам все еще во многом непонятно, почему TD-Gammon так хорошо умеет самообучаться». Как и человеческому мозгу, системам машинного обучения присуща проблема «черного ящика»: они могут работать хорошо, но мы точно не знаем, каким образом. В последующие годы исследования Тезауро распространились на алгоритмы ценообразования, обнаружение компьютерных вирусов, аукционные торги и энергопотребление в центрах обработки данных.

В соответствии с корпоративной политикой IBM Тезауро не опубликовал свою программу нардов и ее исходный код. Он, однако, был готов раздавать записи партий, которые она сыграла. Кит Вулси, игрок мирового уровня как в нардах, так и бридже, нанес ему визит. Тезауро дал ему «большую пачку» записей партий, которые TD-Gammon сыграла сама с собой. «Он изучил все ходы до единого и, просто глядя на то, что делала программа, смог освоить новый подход к игре в нарды, который был лучше, чем все, что люди делали раньше», – сказал Тезауро.