Искусственный интеллект

Скоро мы сможем больше сказать об относительной опасности эмуляции головного мозга, нейроморфного ИИ и синтетического ИИ, но уже сейчас можно отметить еще одну важную технологическую связку между эмуляцией и ИИ. Даже если усилия в направлении эмуляции головного мозга действительно приведут к созданию имитационной модели мозга (а не нейроморфного ИИ) и даже если появление такой модели окажется безопасным, риск все-таки остается — риск, связанный со вторым переходом, переходом от имитационной модели к ИИ, который представляет собой гораздо более мощную форму машинного интеллекта.

Есть множество других примеров технологических связок, заслуживающих более глубокого анализа. Например, усилия в сфере полной эмуляции головного мозга ускорят прогресс нейробиологии в целом13. Быстрее станут развиваться технология детекции лжи, техники нейропсихологического манипулирования, методы когнитивного улучшения, различные направления медицины. Усилия в области когнитивного совершенствования (в зависимости от конкретного направления) будут иметь такие побочные эффекты, как быстрое развитие методов генетической селекции и генетического инжиниринга, причем для улучшения не только когнитивных способностей, но и других черт нашей личности.

Аргументация от противного

Мы выйдем на следующий уровень стратегической сложности, если примем в расчет то, что не существует идеально доброжелательного, рационального и универсального контролера над миром, который просто реализовывал бы то, что считается наилучшим вариантом действий. Любые абстрактные соображения о том, что «следовало бы сделать», должны быть облечены в форму конкретного сообщения, которое появится в атмосфере риторической и политической реальности. Его будут игнорировать, неправильно трактовать, искажать и приспосабливать для различных конфликтующих целей; оно будет скакать повсюду, как шарик в пинболе, вызывая действия и противодействия и становясь причиной целого каскада последствий, которые не будут иметь прямой связи с намерениями автора.

Проницательный агент мог бы предвидеть все это. Возьмем, например, следующую схему аргументации в пользу проведения исследований с целью создания потенциально опасной технологии X. (Один из примеров использования этой схемы можно найти в работах Эрика Дрекслера. В его случае X = молекулярная нанотехнология14.)

Риск Х высок.

Для снижения этого риска требуется выделить время на серьезную подготовку.

Серьезная подготовка начнется лишь после того, как к перспективе создания Х начнут серьезно относиться широкие слои общества.

Широкие слои общества начнут серьезно относиться к перспективе создания Х только в случае проведения масштабных исследований возможности его создания.

Чем раньше начнутся масштабные исследования, тем больше времени понадобится на создание Х (поскольку в самом начале ниже уровень развития необходимых технологий).

Следовательно, чем раньше начнутся масштабные исследования, тем больше будет времени на серьезную подготовку и тем сильнее удастся снизить риск.

Следовательно, масштабные исследования в отношении Х нужно начинать немедленно.

Если следовать этой логике рассуждений, то, начав с причины двигаться вперед медленно или вовсе остановиться — из-за высокого риска, связанного с Х, — приходишь к прямо противоположному следствию.

Родственный этому тип аргументации сводится к тому, что нам следует — какая жестокость! — приветствовать мелкие и средние катастрофы на том основании, что они вскроют наши уязвимые места и заставят принять меры предосторожности, снижающие вероятность экзистенциальной катастрофы. Идея состоит в том, что мелкие и средние катастрофы служат своего рода прививкой: сталкиваясь с относительно слабой угрозой, цивилизация вырабатывает иммунитет, благодаря которому сможет справиться с потенциально губительным вариантом той же самой угрозы15.

По сути, речь идет о призывах к так называемой шоковой терапии, когда оправдывается нечто плохое в надежде, что это сможет вызвать нужную реакцию общества. Мы упомянули о ней не потому, что одобряем ее, а для того чтобы познакомить вас с идеей того, что называем аргументацией от противного. Она подразумевает, что если относиться к другим людям как к иррациональным агентам и играть на их когнитивных искажениях и ошибочных суждениях, то можно добиться от них более адекватной реакции, чем в случае, когда говоришь о проблеме прямо и обращаешься к их рассудку.