Искусственный интеллект. Этапы. Угрозы. Стратегии

Есть еще одно соображение, которое ставит под сомнение идею безопасности создания вначале технологии эмуляции головного мозга, — необходимость решать проблему второго перехода. Даже если первый машинный интеллект человеческого уровня будет создан в форме эмулятора, возможность появления искусственного интеллекта останется. ИИ в его зрелой форме обладает важными преимуществами по сравнению с КИМГМ, которые делают его несравнимо более мощной технологией[556]. Поскольку зрелый ИИ приведет к моральному устареванию КИМГМ (за исключением специальной задачи по консервации мозга отдельных людей), обратное движение вряд ли возможно.

Это означает следующее: если ИИ будет разработан первым, возможно, что у взрывного развития искусственного интеллекта будет всего одна волна; а если первым будет создана КИМГМ, таких волн может быть две. Первая — появление самой КИМГМ, вторая — появление ИИ. Совокупный экзистенциальный риск на пути КИМГМ–ИИ представляет собой сумму рисков, связанных с первым и вторым переходом (обусловленную успешным завершением первого), см. рис. 13[557].

Рис. 13. Что раньше, искусственный интеллект или компьютерная имитационная модель головного мозга? В сценарии «сначала КИМГМ» есть два перехода, связанных с риском, — вначале в результате создания КИМГМ, затем — ИИ. Совокупный экзистенциальный риск этого сценария представляет собой сумму рисков каждого перехода. Однако риск самого перехода к ИИ может быть ниже, когда это происходит в мире, где уже успешно работает КИМГМ.

Насколько более безопасным окажется переход к ИИ в мире КИМГМ? Одно из соображений заключается в том, что переход к ИИ мог бы быть менее взрывным, если случился бы уже после появления какой-то иной формы машинного интеллекта. Имитационные модели, работающие на цифровых скоростях и в количествах, далеко превосходящих население Земли, могли бы сократить когнитивный разрыв и легче контролировать ИИ. Впрочем, этому соображению не стоит придавать слишком большое значение, поскольку разрыв между ИИ и КИМГМ все-таки будет очень значительным. Однако если КИМГМ не просто быстрее и многочисленнее, но еще и качественно умнее людей (или как минимум не уступают лучшим представителям человечества), тогда у сценария с КИМГМ будут преимущества, аналогичные сценарию с когнитивным улучшением биологического мозга, который мы рассматривали выше.

Второе соображение касается ситуации конкуренции проектов, в этом случае при создании КИМГМ лидер может упрочить свое преимущество. Возьмем сценарий, в котором у лидирующего проекта по созданию КИМГМ есть шестимесячная фора по сравнению с ближайшим преследователем. Предположим, что первые работающие эмуляторы будут безопасными, терпеливыми и станут с готовностью сотрудничать с людьми. Если они работают на быстром оборудовании, то смогут потратить целую субъективную вечность в поисках ответа на вопрос, как создать безопасный ИИ. Например, если они работают на скоростях, в сто тысяч раз превышающих человеческие, и способны, не отвлекаясь, заниматься проблемой контроля в течение шести месяцев звездного времени, то смогут продвинуться в ее решении на пятьдесят тысяч лет дальше к тому моменту, когда столкнутся с конкуренцией со стороны эмуляторов, созданных в рамках проекта ближайшего конкурента. При наличии доступного аппаратного обеспечения они смогут еще ускорить свой прогресс, запустив миллиарды собственных копий независимо работать над различными подзадачами. А если лидирующий проект использует свое шестимесячное преимущество для формирования синглтона, то сможет купить своей команде по разработке ИИ неограниченное количество времени для решения проблемы контроля[558].

В целом возникает ощущение, что в случае, если КИМГМ появится раньше ИИ, риск перехода к ИИ может быть ниже. Однако если сложить остаточный риск перехода к ИИ с риском предшествующего ему перехода к КИМГМ, становится не столь понятно, как соотносится совокупный экзистенциальный риск сценария «сначала КИМГМ» с риском сценария «сначала ИИ». Получается, что если смотреть скептически на способность человечества управлять переходом к ИИ — приняв во внимание, что человеческая природа или цивилизация могут улучшиться к тому моменту, когда мы столкнемся с этим вызовом, — то сценарий «сначала КИМГМ» кажется более привлекательным.

Чтобы понять, следует ли продвигать идею создания технологии полной эмуляции головного мозга, нужно учесть еще несколько важных моментов.