Искусственный интеллект

Более позитивный, и тоже вполне осуществимый, сценарий — использовать свой ядерный потенциал в качестве козыря с целью добиться создания мощного международного правительства, своего рода ООН без права вето, обладающего ядерной монополией и облеченного правами предпринимать любые необходимые действия для предотвращения его производства любой страной мира в собственных целях.

В те времена звучали предложения идти обоими путями. Жесткий подход, предполагающий нанесение упреждающего ядерного удара или угрозу его нанесения, поддержали такие известные интеллектуалы, как Бертран Рассел (кстати, британский математик и философ до этого занимал антивоенную позицию, да и потом на протяжении десятков лет участвовал в кампаниях за ядерное разоружение) и Джон фон Нейман (американский математик и физик, кроме того что был одним из создателей теории игр, стал архитектором ядерной стратегии США)34.

Однако предлагался и позитивный сценарий — в виде предложенного США в 1946 году плана Баруха. В рамках этой программы по развитию сотрудничества в мирном использовании атома предполагалось, что США откажутся от своей временной ядерной монополии. Добыча урана и тория должна была быть передана под контроль Агентства по атомным разработкам — международного агентства, которое действовало бы под эгидой Организации Объединенных Наций (ООН). Предложение предполагало отказ постоянных членов Совета Безопасности ООН от права вето в вопросах, имеющих отношение к ядерному оружию, чтобы никто из них не мог нарушить соглашения и при этом избежать наказания, воспользовавшись своим правом вето35. Сталин, поняв, что Советский Союз и его союзники могут легко оказаться в меньшинстве и в Совете Безопасности, и Генеральной Ассамблее, это предложение отверг. Между бывшими союзниками в ходе Второй мировой войны сгустилась атмосфера подозрительности и взаимного недоверия, которая позже привела к холодной войне. Как и предсказывали многие, началась дорогостоящая и чрезвычайно опасная гонка вооружений.

Есть множество факторов, которые могут оказывать влияние на любой управляемый людьми институт, добившийся решающего стратегического преимущества, и помешать ему в формировании синглтона. Перечислим некоторые из них: агрегированная функция полезности; правила принятия решений, не максимизирующие выигрыш; неразбериха и неопределенность; проблемы с координацией действий; высокие затраты, связанные с осуществлением контроля. Но как быть в ситуации, когда решающее стратегическое преимущество получает не человеческая организация, а цифровая действующая сила, пусть даже сверхразумная? Будут ли перечисленные выше факторы столь же действенным средством удержания ИИ от попытки утвердить свою власть? Рассмотрим коротко каждый из них и представим, как они могут повлиять на ситуацию.

Обычно предпочтения людей и организаций, управляемых людьми, в отношении ресурсов не совсем точно соответствуют неограниченным агрегированным функциям полезности. Человек, как правило, не поставит весь свой капитал, если шансы удвоить его — пятьдесят на пятьдесят. Страна, скорее всего, не пойдет на риск потерять всю свою территорию ради десятипроцентной вероятности увеличить ее в десять раз. И для отдельных людей, и для правительств действует правило убывающей отдачи большинства переменных ресурсов. Однако это не обязательно будет присуще искусственным агентам. (К проблеме мотивации ИИ мы вернемся в последующих главах.) Таким образом, ИИ с большей вероятностью мог бы пойти на рискованный действия, дающие ему некоторые шансы получить контроль над миром.

Для людей и управляемых людьми организаций также характерен процесс принятия решений, не подразумевающий стремления максимизировать функцию полезности. Например, могут оказывать влияние такие обстоятельства: природная склонность человека стараться избегать риска; принцип разумной достаточности, главным критерием которого является поиск и принятие удовлетворительного варианта; наличие этических ограничений, запрещающих совершать определенные действия независимо от степени их желательности. Принимающие решения люди часто действуют сообразно своим личным качествам или социальной роли, а не стремлению максимизировать­ вероятность достижения той или иной цели. И опять — это не обязательно будет присуще искусственным агентам.