Искусственный интеллект. Этапы. Угрозы. Стратегии

При наличии высокоэффективных методов выбора мотивации эта проблема может быть решена за счет создания независимого агентства с достаточными полицейскими или военными полномочиями для принуждения к исполнению договора любой стороны или сторон, даже невзирая на их сопротивление. Для этого агентство должно пользоваться полным доверием. Но при наличии эффективных методов выбора мотивации требуемое доверие можно обеспечить за счет привлечения к совместному контролю за созданием этого агентства всех участников переговоров.

Наделение независимого агентства чрезмерной принудительной властью может привести к тем же самым проблемам, с которыми мы столкнулись при обсуждении однополярного исхода (когда синглтон возникает до или в начале революции машинного интеллекта). Чтобы можно было добиваться выполнения договоренностей, которые касаются жизненно важных интересов безопасности стран-противников, независимое агентство фактически должно представлять собой синглтон: стать общемировым сверхразумным Левиафаном. Разница заключается лишь в том, что мы рассматриваем постпереходную ситуацию, в которой агенты, создающие Левиафана, обладают большей компетентностью, чем сегодняшние люди. Будущие создатели Левиафана сами могут быть сверхразумными. Это значительно увеличивает их шансы, что им удастся решить проблему контроля и разработать такую структуру агентства, которая будет служить интересам всех сторон.

Есть ли еще какие-то препятствия у общемировой координации, помимо затрат, связанных с контрольным наблюдением и принуждением к исполнению соглашений? Возможно, главной проблемой остается то, что можно назвать издержки ведения переговоров[443]. Даже когда есть возможность для компромисса, результаты которого выгодны всем участникам переговоров, иногда не удается нащупать основания продвигаться дальше, поскольку стороны не могут договориться о принципах разделения общей «добычи». Например, сделка не будет заключена, а потенциальная прибыль — получена, если двое могут подписать договор, по которому будут получать проценты от суммы в один доллар, но каждая сторона считает, что заслуживает шестьдесят центов чистой прибыли, и отказывается согласиться на меньшее. В целом из-за сделанного некоторыми участниками стратегического выбора характера ведения переговоров последние могут идти с трудом, затянуться надолго или вовсе сорваться.

В реальной жизни людям часто удается прийти к соглашению, несмотря на то что иногда приходится уступать стратегические позиции в процессе поиска компромисса (нередко ценой значительных затрат усилий и времени). Тем не менее вполне возможно, что в постпереходную эпоху проблема заключения стратегически важной сделки будет иметь несколько иную динамику. Искусственный интеллект, выступающий в роли посредника, будет последовательно придерживаться формальной и логической концепции, возможно, содержащей новые и неожиданные заключения, если сравнивать ее с позицией других участников переговоров. Кроме того, ИИ способен вступить в игру, недоступную для людей или очень трудную для них, в том числе он может первым занять жесткую позицию относительно проведения какой-то стратегии или выполнения каких-то действий. Хотя люди (и управляемые людьми институты) тоже время от времени способны на это — правда, обычно они не бывают столь конкретны в формулировках и вызывают к себе меньше доверия. Некоторые типы машинного интеллекта, заняв изначально жесткую позицию, будут непоколебимо стоять на своем[444].

Внедрение новейших методов проверки намерений участников договора способно серьезно изменить природу переговоров и принести большую пользу агенту, имеющему преимущество первого хода. Если его участие необходимо для получения какой-то потенциальной выгоды от сотрудничества и агент готов занять принципиально твердую позицию, то он будет в состоянии диктовать распределение этой выгоды, заявив, например, что не согласится на сделку, которая принесет ему, скажем, меньше 99 процентов прибыли. Другие агенты в итоге окажутся перед выбором: или не получить ничего (отказавшись от несправедливого предложения), или получить оставшийся один процент (согласившись на него). Если твердость намерений первого агента, занявшего непоколебимую жесткую позицию, можно проверить и подтвердить инструментальными методами, то его партнерам по переговорам действительно не остается никакого выхода, кроме как принять один из двух оставшихся вариантов.