Искусственный интеллект

Во-вторых, о чем нужно помнить: КИМГМ, скорее всего, подаст нам сигнал о своем скором появлении. В случае ИИ всегда есть возможность неожиданного концептуального прорыва. В отличие от него, для успеха эмуляции головного мозга требуется совершить множество трудоемких предварительных шагов: создать высокопроизводительные мощности для сканирования и программное обеспечение для обработки изображений, проработать алгоритм моделирования нейронной сети. Поэтому можно уверенно утверждать, что КИМГМ еще не на пороге (и не будет создан в ближайшие двадцать–тридцать лет). Это значит, что усилия по ускорению создания КИМГМ имеют значение лишь для тех сценариев, где машинный интеллект появляется сравнительно нескоро. Это делает инвестиции в КИМГМ привлекательными для тех, кто хотел бы, чтобы взрывное развитие интеллекта исключило другие экзистенциальные риски, но опасается поддерживать разработку ИИ из страха, что этот взрыв произойдет преждевременно, до того как будет решена проблема контроля. Однако, похоже, неопределенность относительно сроков этих событий настолько велика, что не стоит придавать этому соображению слишком большой вес28.

Поэтому стратегия поддержки КИМГМ более привлекательна, если: 1) вы с пессимизмом смотрите на способность людей решить проблему контроля над ИИ; 2) не слишком беспокоитесь по поводу нейроморфного ИИ, многополярных исходов и рисков второго перехода; 3) думаете, что КИМГМ и ИИ будут созданы довольно скоро; 4) предпочитаете, чтобы сверхразум появился не слишком рано и не слишком поздно.

С субъективной точки зрения — лучше быстрее

Боюсь, что под словами одного из комментаторов в блоге могут подписаться многие:

Мне инстинктивно хочется двигаться быстрее. И не потому что, как мне кажется, мир от этого выиграет. Почему я должен думать о мире, если все равно умру и превращусь в прах? Мне просто хочется, чтобы все двигалось быстрее, черт возьми! Это увеличивает шансы, что я застану более технологически продвинутое будущее29.

С субъективной точки зрения у нас есть серьезная причина торопить появление любых радикально новых технологий, с которыми связан экзистенциальный риск. Причина в том, что все, кто сейчас живет, по умолчанию умрут в течение ближайших ста лет.

Особенно сильно желание торопить события, когда речь идет о технологиях, способных продлить нашу жизнь и тем самым увеличить количество ныне живущих людей, способных застать взрывное развитие искусственного интеллекта. Если революция машинного интеллекта пойдет так, как нам хотелось бы, появившийся в ее результате сверхразум почти наверняка найдет способ бесконечно продлевать жизнь людей, которые окажутся его современниками, причем не просто продлевать жизнь, но и делать ее абсолютно качественной, поскольку люди будут совершенно здоровы и полны молодой энергией — тоже благодаря стараниям сверхразума. Более того, сверхразум увеличит возможности человека далеко за пределы того, что можно было бы предположить; кто знает, вдруг он поможет человеку совсем избавиться от своего бренного организма, загрузит его мозг в цифровую среду и подарит ему идеально здоровое виртуальное тело. Что касается технологий, не обещающих продление жизни, то здесь оснований для спешки меньше, но они все равно есть, поскольку появление таких возможностей способно повысить стандарты жизни30.

Благодаря такой же логике с субъективной точки зрения кажутся привлекательными многие рискованные технологические инновации, обещающие приблизить момент взрывного развития искусственного интеллекта, даже если они нежелательны с объективной точки зрения. Такие инновации могут сократить «час волка», в течение которого мы должны сидеть на своем насесте в ожидании рассвета постчеловеческой эпохи. Поэтому с субъективной точки зрения быстрый прогресс в области аппаратного обеспечения кажется таким же желательным, как и в области создания КИМГМ. Потенциальный вред из-за повышения экзистенциального риска уравновешивается возможной пользой для отдельно взятого человека благодаря возросшим шансам, что взрывное развитие искусственного интеллекта произойдет еще при жизни живущих сейчас людей31.

Сотрудничество

Важным параметром является степень сотрудничества и координации, которую удастся обеспечить в ходе создания машинного интеллекта. Сотрудничество способно принести много пользы. Посмотрим, какое влияние этот параметр мог бы оказать на процесс создания машинного интеллекта и какие рычаги имеются в нашем распоряжении для расширения и углубления сотрудничества.

Гонка и связанные с ней опасности

Ощущение гонки возникает, когда есть страх, что проект обойдут конкуренты. Для этого совсем не обязательно наличие множества сходных проектов. Ситуация, при которой инициаторы проекта находятся в состоянии гонки, может сложиться и в отсутствие реальных конкурентов. Возможно­, союзники не создали бы атомную бомбу так быстро, если не считали бы (ошибочно), что Германия крайне близка к этой цели.