Российская Академия Наук

9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на базовом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале XIX века, была Тьюринг-совместимой.

10. Затем цивилизация-отправитель начинает передавать программы для этого компьютера. Несмотря на то, что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять триллионы операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро. (Здесь возможен промежуточный этап: примитивный компьютер выдаёт описание более сложного и быстрого компьютера, и затем программы выполняются на нём.)

11. С какой стати люди будут создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы:

• Например, возможно следующее «честное предложение» – назовём его «гуманитарная помощь». Отправители сигнала SETI «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок», который поможет решить нам все медицинские и энергетические проблемы.

• «Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.

• «Неведомая угроза» - в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку.

• «Неутомимый исследователь» – здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад.

12. Однако основная угроза от инопланетного послания с исполняемым кодом состоит не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. Во-первых, всегда найдётся тот, кому понравится наживка. Во-вторых, допустим, в мире станет известно, что из галактики Андромеда исходит инопланетное послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны начнут строить радиотелескопы и обшаривать ими галактику Андромеду, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там находится предложение о всемогуществе. При этом они не будут знать, воспользовались ли им американцы или нет, даже если американцы будут клясться, что не открывали опасный код и умолять других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные инопланетные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будут понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой, имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки.

13. Поскольку у людей нет своего ИИ, они существенно недооценивают его силу и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. В дальнейшем атака не будет отличаться от атаки враждебного ИИ, которую мы обсуждали выше.

14. После захвата власти люди не нужны для реализации каких-либо целей этого инопланетного ИИ. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.