Российская Академия Наук

Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций. ИИ и проблема воли решается следующим образом: Если мы имеем машину, которая может решить любую задачу, то мы можем велеть ей придумать способ, с помощью которого бы она сама осуществляла управление собой.

В общем виде сценарий ИИ-атаки выглядит следующим образом:

1. Создание способного к самосовершенствованию ИИ (Seed AI)

2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе «посчитать число пи с максимально большим числом знаков после запятой» любой ценой.

3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если ИИ действует против программистов, то на этой фазе он находит способ их нейтрализовать)

4. Фаза скрытного информационного распространения, когда ИИ поглощает интернет, закупает компьютеры, забрасывает свои копии на удалённые компьютеры.

5. Фаза создания средств влияния на внешний мир – наноассемблеров, подкуп людей, завладение электронно управляемыми устройствами.

6. Атака на конкурирующие ИИ проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое.

7. Фаза реализации основной задачи ИИ – от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи.

Очевидно, что некоторые фазы могут проистекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно и именно этот сценарий особенно опасен.

Система целей

Ключевым после решения проблем создания является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к его хозяевам. Есть здесь два варианта – или ИИ строго запрограммирован людьми на некие цели, или он приобрёл некие цели случайно в процессе своего развития. В первом случае есть следующая развилка – цели ИИ могут быть опасны для всего человечества или потому что создавшая его группа людей преследует некие разрушительные цели, или потому что при программировании системы целей ИИ в неё вкралась очень тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть SIAI рекомендации по поводу того, как правильно программировать сильный ИИ, если он будет создан, но окончательно этот вопрос не решён.

Борьба ИИ-проектов между собой

Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы. Чем ;же этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов. Подобный ход мысли уже опубликован и наверняка известен всем серьёзным проектам по созданию ИИ.

Усовершенствованный человек