Читаем Совместимость. Как контролировать искусственный интеллект полностью

Чтобы прояснить, зачем нам нужна теория игр, рассмотрим простой пример: Алиса и Боб играют во дворе в футбол (рис. 3). Алиса готовится пробить пенальти, Боб стоит на воротах. Алиса собирается направить мяч справа или слева от Боба. Поскольку она правша, для нее проще и надежнее бить вправо от Боба. У Алисы мощный удар, и Боб знает, что должен броситься в одну либо в другую сторону – у него не будет времени подождать и узнать, куда летит мяч. Боб мог бы рассуждать так: «У Алисы больше шансов забить гол, если она пробьет справа от меня, поскольку она правша, значит, это она и выберет, и мне нужно броситься вправо». Однако Алиса не дурочка, она может представить этот ход рассуждений Боба и тогда пробьет влево. Поскольку Боб тоже не дурак и поймет, что замыслила Алиса, то бросится влево. Но Алиса умна и способна представить, что Боб думает именно так… В общем, вы поняли. Иными совами, если у Алисы есть рациональный выбор, Боб тоже может его обнаружить, предвосхитить и помешать Алисе забить гол, так что выбор, в принципе, не может быть рациональным.

Еще в 1713 г. – опять-таки в ходе анализа азартных игр – был найден выход из этого затруднительного положения[34]. Хитрость состоит в том, чтобы выбирать не какое-либо действие, а рандомизированную стратегию. Например, Алиса может выбрать стратегию «бить правее Боба с вероятностью 55 % и левее с вероятностью 45 %». Боб может выбрать «кидаться вправо с вероятностью 60 % и влево с вероятностью 40 %». Каждый мысленно бросает монету с соответствующей тенденцией перед каждым действием, чтобы не отклониться от своих намерений. Действуя непредсказуемо, Алиса и Боб избегают ограничений, описанных в предыдущем абзаце. Даже если Боб выяснит, в чем состоит рандомизированная стратегия Алисы, он бессилен справиться с ней, если у него нет «хрустального шара».

Следующий вопрос: какими должны быть вероятности? Рационален ли выбор Алисы, 55 % на 45 %? Конкретные значения зависят от того, насколько выше точность Алисы при ударе направо от Боба, насколько успешно Боб берет мяч, когда кидается вправо, и т. д. (Полный анализ см. в сносках[35].) Общий критерий, впрочем, очень прост:

1. Стратегия Алисы – лучшая, которую она может выбрать при условии, что Боб неподвижен.

2. Стратегия Боба – лучшая, которую он может выбрать при условии, что Алиса неподвижна.

Если выполняются оба условия, мы говорим, что стратегии находятся в равновесии. Такого рода равновесие называется равновесием Нэша в честь Джона Нэша, который в 1950 г. в возрасте 22 лет доказал, что оно существует для любого числа агентов с любыми рациональными предпочтениями, независимо от правил игры. После нескольких десятилетий борьбы с шизофренией Нэш выздоровел и в 1994 г. получил за эту работу Нобелевскую премию за достижения в экономических науках.

В футбольном матче Алисы и Боба равновесие лишь одно. В других случаях их может быть несколько. Таким образом, концепция равновесия Нэша, в отличие от решений на основе ожидаемой полезности, не всегда ведет к уникальным рекомендациям о том, как действовать.

Что еще хуже, бывают ситуации, когда равновесие Нэша может приводить к крайне нежелательным результатам. Одним из таких случаев является знаменитая «дилемма заключенного», название которой дал в 1950 г. научный руководитель Нэша Альберт Таккер[36]. Игра представляет собой абстрактную модель печально распространенных в реальном мире ситуаций, когда взаимодействие было бы лучше во всех смыслах, но люди тем не менее выбирают взаимное уничтожение.

Вот как работает «дилемма заключенного». Алиса и Боб подозреваются в преступлении и оказываются в одиночном заключении. У каждого есть выбор: признать вину и заложить подельника или отказаться давать показания[37]. Если оба откажутся, то будут обвинены в менее серьезном преступлении и отсидят два года; если оба сознаются, то получат более серьезное обвинение и сядут на 10 лет; если один сознается, а второй запирается, то сознавшийся выходит на свободу, а второй садится на 20 лет.

Итак, Алиса размышляет: «Если Боб решит признаться, то и мне следует признаваться (10 лет лучше, чем 20); если он планирует запираться, то мне лучше заговорить (выйти на свободу лучше, чем провести два года в тюрьме); так или иначе, нужно признаваться». Боб мыслит так же. В результате оба дают признательные показания и сидят 10 лет, тогда как, совместно отказавшись признавать вину, они могли бы отсидеть только два года. Проблема в том, что совместный отказ не является равновесием Нэша, потому что у каждого есть стимул предать другого и освободиться путем признания.

Перейти на страницу:

Похожие книги

Без своего мнения. Как Google, Facebook, Amazon и Apple лишают вас индивидуальности
Без своего мнения. Как Google, Facebook, Amazon и Apple лишают вас индивидуальности

Информация – инструмент контроля, тот, кто владеет ею, обретает власть. Мы – люди информационного века. Мы привыкли делать покупки на Amazon, общаться через Facebook, задавать поисковые запросы Google и просто убивать время, пользуясь продукцией Apple. Эти четыре компании-гиганта объединяет одно свойство – все они называют себя защитниками человеческой индивидуальности и многообразия мнений, действующими во имя интересов всех людей. Но так ли все хорошо? Или за «бескорыстными» целями техномонополий стоит тирания голодных до наших данных алгоритмов? Франклин Фоер в своей книге приводит актуальный анализ причин, как идеалистические мечты о новых технологиях пионеров Кремниевой долины превратились в механизмы угнетения и отчуждения свободы и прав. И от того, насколько успешно мы будем отстаивать собственную автономность перед лицом этой угрозы, зависит наше настоящее и будущее.

Франклин Фоер

Публицистика / Зарубежная публицистика / Документальное
Океан вне закона. Работорговля, пиратство и контрабанда в нейтральных водах
Океан вне закона. Работорговля, пиратство и контрабанда в нейтральных водах

На нашей планете осталось мало неосвоенных территорий. Но, возможно, самые дикие и наименее изученные – это океаны мира. Слишком большие, чтобы их контролировать, и не имеющие четкого международного правового статуса огромные зоны нейтральных вод стали прибежищем разгула преступности.Работорговцы и контрабандисты, пираты и наемники, похитители затонувших судов и скупщики конфискованных товаров, бдительные защитники природы и неуловимые браконьеры, закованные в кандалы рабы и брошенные на произвол судьбы нелегальные пассажиры. С обитателями этого закрытого мира нас знакомит пулитцеровский лауреат Иэн Урбина, чьи опасные и бесстрашные журналистские расследования, зачастую в сотнях миль от берега, легли в основу книги. Через истории удивительного мужества и жестокости, выживания и трагедий автор показывает глобальную сеть криминала и насилия, опутывающую важнейшие для мировой экономики отрасли: рыболовецкую, нефтедобывающую, судоходную.

Иэн Урбина

Документальная литература / Документальная литература / Публицистика / Зарубежная публицистика / Документальное
Совместимость. Как контролировать искусственный интеллект
Совместимость. Как контролировать искусственный интеллект

В массовом сознании сверхчеловеческий искусственный интеллект — технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать.В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта?Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные.О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте.Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги — объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход.Введение понятия полезности — невидимого свойства — для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения.Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным.Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.

Стюарт Рассел

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Зарубежная публицистика / Документальное
Новое долголетие. На чем будет строиться благополучие людей в меняющемся мире
Новое долголетие. На чем будет строиться благополучие людей в меняющемся мире

Вы хотите жить дольше? Вне зависимости от вашего ответа вам, скорее всего, придется. Это еще одно из неизбежных следствий того триумфа науки и технологий, который мы переживаем сегодня. Но куда приведет нас этот небывалый прогресс? Если люди будут жить 100 или 120 лет, сколько из них они смогут (или будут вынуждены) работать? Хватит ли на всех рабочих мест? И как жить не только долго, но и счастливо?Ясно одно: существуют глубокие опасения, связанные с противоречием между индустриальным развитием и преимуществами долгой жизни. Беспрецедентный технологический прогресс не сопровождался необходимыми инновациями и изменениями в социальных структурах. Поэтому в этом непрерывно меняющемся мире мы до сих пор не открыли для себя новые способы жить.Эндрю Скотт и Линда Граттон отвечают на вопрос «Как долголетие изменит нашу жизнь и наш социум?». Опираясь на исследования в области экономики и психологии, они предлагают собственное видение инструментов, необходимых для решения предстоящих задач по созданию нового социального уклада. На примере вымышленных персонажей из разных возрастных и социальных групп они описывают действия и шаги, которые каждый из нас должен предпринять, чтобы приспособиться к долгой жизни. Любой из нас уже сегодня может стать творцом собственной биографии нового образца!

Линда Граттон , Эндрю Скотт

Самосовершенствование / Зарубежная публицистика / Документальное