Искусственный интеллект

Насколько более безопасным окажется переход к ИИ в мире КИМГМ? Одно из соображений заключается в том, что переход к ИИ мог бы быть менее взрывным, если случился бы уже после появления какой-то иной формы машинного интеллекта. Имитационные модели, работающие на цифровых скоростях и в количествах, далеко превосходящих население Земли, могли бы сократить когнитивный разрыв и легче контролировать ИИ. Впрочем, этому соображению не стоит придавать слишком большое значение, поскольку разрыв между ИИ и КИМГМ все-таки будет очень значительным. Однако если КИМГМ не просто быстрее и многочисленнее, но еще и качественно умнее людей (или как минимум не уступают лучшим представителям человечества), тогда у сценария с КИМГМ будут преимущества, аналогичные сценарию с когнитивным улучшением биологического мозга, который мы рассматривали выше.

Второе соображение касается ситуации конкуренции проектов, в этом случае при создании КИМГМ лидер может упрочить свое преимущество. Возьмем сценарий, в котором у лидирующего проекта по созданию КИМГМ есть шестимесячная фора по сравнению с ближайшим преследователем. Предположим, что первые работающие эмуляторы будут безопасными, терпеливыми и станут с готовностью сотрудничать с людьми. Если они работают на быстром оборудовании, то смогут потратить целую субъективную вечность в поисках ответа на вопрос, как создать безопасный ИИ. Например, если они работают на скоростях, в сто тысяч раз превышающих человеческие, и способны, не отвлекаясь, заниматься проблемой контроля в течение шести месяцев звездного времени, то смогут продвинуться в ее решении на пятьдесят тысяч лет дальше к тому моменту, когда столкнутся с конкуренцией со стороны эмуляторов, созданных в рамках проекта ближайшего конкурента. При наличии доступного аппаратного обеспечения они смогут еще ускорить свой прогресс, запустив миллиарды собственных копий независимо работать над различными подзадачами. А если лидирующий проект использует свое шестимесячное преимущество для формирования синглтона, то сможет купить своей команде по разработке ИИ неограниченное количество времени для решения проблемы контроля25.

В целом возникает ощущение, что в случае, если КИМГМ появится раньше ИИ, риск перехода к ИИ может быть ниже. Однако если сложить остаточный риск перехода к ИИ с риском предшествующего ему перехода к КИМГМ, становится не столь понятно, как соотносится совокупный экзистенциальный риск сценария «сначала КИМГМ» с риском сценария «сначала ИИ». Получается, что если смотреть скептически на способность человечества управлять переходом к ИИ — приняв во внимание, что человеческая природа или цивилизация могут улучшиться к тому моменту, когда мы столкнемся с этим вызовом, — то сценарий «сначала КИМГМ» кажется более привлекательным.

Чтобы понять, следует ли продвигать идею создания технологии полной эмуляции головного мозга, нужно учесть еще несколько важных моментов.

Во-первых, следует помнить об уже упомянутой связке технологий: движение в сторону КИМГМ может привести к созданию нейроморфного ИИ. Это причина не настаивать на эмуляторах26. Несомненно, есть некоторые варианты синтетического ИИ, которые менее безопасны, чем некоторые нейроморфные варианты. Однако в среднем кажется, что нейроморфные системы более опасны. Одна из причин этого в том, что имитация может подменить собой знание. Чтобы построить нечто с нуля, обычно нужно сравнительно хорошо представлять, как будет работать система. Но в таком понимании нет нужды, если всего лишь копируешь какие-то свойства уже существующей системы. Полная эмуляция головного мозга полагается на масштабное копирование биологической системы, что не требует досконального понимания механизмов познания (хотя, без сомнения, понадобятся серьезные знания на уровне ее компонентов). В этом смысле нейроморфный ИИ может походить на КИМГМ: его можно получить путем плагиата различных элементов без необходимости того, чтобы инженеры имели глубокое математическое понимание принципов ее работы. Зато нейроморфный ИИ не будет похож на КИМГМ в другом аспекте — у него не будет по умолчанию человеческой системы мотивации27. Это соображение говорит против стремления двигаться по пути КИМГМ, если в результате может появиться нейроморфный ИИ.