Идеальная ставка

В первый день разыгрывалось две сессии, в каждой из которых было сдано по 500 рук. Первая сессия закончилась ничьей (Polaris добился преимущества в 70 долларов, что было недостаточно для победы). Во второй сессии во время раздачи Лаак получил хорошие карты. Это означало, что в игре против Эслами компьютер получит такие же сильные карты. Polaris капитализировал свое преимущество эффективнее, чем Лаак. В результате бот одержал над людьми чистую победу.

Вечером Лаак и Эслами встретились, чтобы обсудить разыгранные комбинации. Команда Университета Альберты выдала им протокол игры, куда входил перечень всех сданных рук. Это помогло покеристам разобраться в ситуации. К следующему дню у людей созрел план борьбы с Polaris, и они выиграли две финальные сессии. Однако своей победой они не гордились. «Это не было триумфом, – признавался Эслами. – Задача была просто выжить. Я играл хорошо как никогда, и все же мы едва-едва избежали поражения».

Год спустя состоялось второе соревнование «машина против людей» с новым составом участников. В этот раз семь человек сражались с ботом Университета Альберты в Лас-Вегасе. Команда людей состояла из первоклассных покеристов, в том числе тех, кто успел заработать на картах более миллиона долларов. Но и Polaris был уже не тот, что в прошлом году. Это был усовершенствованный Polaris 2.0. После игры с Лааком и Эслами он сыграл сам с собой более восьми миллиардов игр. Бот научился эффективнее работать с комбинациями ходов, и в его стратегии стало меньше слабых звеньев, которыми могли бы воспользоваться оппоненты.

Кроме того, Polaris 2.0 усерднее учился. Бот просчитывал модель поведения соперника, идентифицировал тип применяемой им стратегии и вел игру так, чтобы воспользоваться его слабыми сторонами. Перехитрить Polaris 2.0, выработав совместную тактику, как это сделали Лаак и Эслами, было невозможно – с каждым противником усовершенствованный бот играл по-новому, проявляя чудеса адаптации. Глава разработчиков программы Майкл Боулинг отмечал, что большинство игроков-людей с огромным трудом выдерживали натиск Polaris и признавали, что еще никогда не видели такой стремительной корректировки стратегии.

Как и раньше, люди играли с Polaris парами в лимитный техасский холдем. За четыре дня было сыграно четыре партии. Первые две обернулись для Polaris неудачей – одна ничья и один проигрыш. Но удержать пальму первенства людям не удалось: бот выиграл две финальные партии и весь турнир.

Коль скоро Polaris научился отходить от оптимальной стратегии ради эксплуатации ошибок оппонента, команда из Альберты поставила перед собой новую задачу – создать абсолютно неуязвимого бота. Существующие программы просчитывали равновесие Нэша лишь в некотором приближении, а значит, оставалась теоретическая возможность появления стратегии, способной их победить. Боулинг и его коллеги искали набор приемов, позволяющих ни при каких обстоятельствах не потерять за покерным столом деньги.

Ученые из университета Альберты, применив описанную нами в предыдущей главе технику минимизации сожалений, доработали своих ботов и провели между ними серию игр интенсивностью около 200 раундов в секунду. В результате боты научились избегать эксплуатации со стороны любого, даже идеального соперника. В 2015 году на страницах журнала Science команда представила своего непобедимого компьютерного игрока по имени Cepheus. В память о прошлых шашечных исследованиях статью озаглавили «Тайна лимитного хедс-ап-покера раскрыта».

Отчасти открытия ученых подтвердили очевидные факты, например тот, что в хедс-ап-покере преимущество на стороне дилера. Исследователи также обнаружили, что Cepheus редко следует принципу «тише едешь – дальше будешь» и предпочитает не коллировать, а либо поднимать ставку, либо сбрасывать карты. По словам Йохансона, когда бот выбирает оптимальную стратегию, он начинает применять неожиданные тактики: «Мы периодически видим, как программа принимает решение, которого не принял бы человек». Так, финальная версия Cepheus, имея на руках четверки и шестерки разных мастей – карты, которые многие игроки предпочли бы сбросить, – раскрывает их. В 2013 году разработчики сделали еще одно наблюдение: бот время от времени делает минимально доступную ставку, хотя может поставить больше. С позиции игрового опыта бота такая тактика выглядит оптимальной, но игроки из плоти и крови воспринимают подобные ситуации по-иному. То, что компьютеру видится разумным ходом, большинству людей кажется глупостью. «Такие ставки просто бесят», – признавался Берч. Кроме того, улучшенная версия Cepheus неохотно размещает крупные ставки в начале игры. Даже когда у бота на руках лучшие карты, например пара тузов, он делает максимальную ставку лишь в одном случае из 100.