На краю пропасти. Экзистенциальный риск и будущее человечества

Главная проблема в том, что истинность идеи – лишь один элемент ее меметического потенциала, то есть ее способности распространяться и проникать в сознание. Но чем больше стимулов создается для обстоятельных и рациональных дебатов, тем больший вклад истинность вносит в меметический успех. Насаждая культуру таких дебатов, мы, возможно, нащупаем единственный путь, который поможет нам избежать такой судьбы. (Подробнее об этом читайте в разделе о долгом раздумье в главе 7.)

Понятие заблокированного состояния также позволяет нам рассмотреть экзистенциальный риск в другом любопытном ракурсе. Мы можем руководствоваться принципом минимизации блокировки. Или, чтобы избежать двойного отрицания, сохранения вариантов выбора^[451]. Это тесно связано с идеей сохранения нашего долгосрочного потенциала, и разница лишь в том, что, сохраняя варианты выбора, мы не делим их на хорошие и плохие. И не потому, что в силу своей природы мы хотим сохранить даже плохие варианты, а потому, что мы не можем сказать наверняка, действительно ли они плохи, и, следовательно, рискуем совершить необратимую катастрофическую ошибку, если навсегда отринем тот из них, который был бы наилучшим.

Другие риски

Какие еще будущие риски дают прочные основания для беспокойства?

Одна из самых революционных технологий, которая, возможно, будет разработана в текущем столетии, – это нанотехнология. Мы уже стали свидетелями наступления эпохи наноматериалов (таких как углеродные нанотрубки), сконструированных с атомарной точностью при толщине всего в несколько атомов. Но гораздо более широкие перспективы откроются в случае, если мы сумеем создать механизмы, работающие с атомарной точностью. Мы точно знаем, что в некоторой форме это возможно, ведь в наших собственных клетках работают атомарно точные механизмы, которые уже выполняют жизненно важные функции.

В представлении людей нанотехнологии подразумевают создание микроскопических машин. Но настоящая революция может произойти тогда, когда наномеханизмы станут использоваться для создания макрообъектов. В своей основополагающей работе на эту тему Эрик Дрекслер описывает, как нанотехнологии могут открыть дорогу к появлению настольных фабрикаторов, способных собрать что угодно, от бриллиантового колье до нового ноутбука. Такое атомарно точное производство стало бы высшей ступенью 3D-печати: имея цифровой чертеж объекта и сырье в виде химических элементов, можно будет создавать атомарно точные копии. Это позволит производить объекты, для которых современных технологий пока недостаточно, а также снизить цены на то, что уже производится, например компьютеры и солнечные панели, почти до себестоимости сырья и материалов – и обеспечить мир гораздо большим объемом вычислительной мощности и чистой энергии.

Такая мощная технология может представлять некоторый экзистенциальный риск. Основное внимание пока уделяется возможности создания крошечных самовоспроизводящихся машин, распространение которых может привести к экологической катастрофе. Такое, пожалуй, возможно, но существуют и более приземленные опасности, которые кажутся более вероятными, поскольку огромная производственная мощность и точность, скорее всего, также проложат дорогу к производству нового оружия массового уничтожения^[452]. Проблемы в этой области, в сущности, напоминают проблемы продвинутых биотехнологий: демократизация исключительно мощных технологий может наделить индивидов или небольшие группы возможностями (как конструктивными, так и деструктивными), которыми прежде обладали лишь могущественные державы. Контроль за этими технологиями, вероятно, можно будет осуществлять либо цифровыми методами, определяя, что подлежит производству, либо с помощью государственного надзора над производством (как в случае с атомной энергетикой). Хотя эти технологии более умозрительны, чем продвинутые биотехнологии и ИИ, со временем они тоже могут стать источником серьезного риска.

Совсем другой риск может быть связан с нашими исследованиями за пределами Земли. Космические агентства планируют экспедиции на Марс, чтобы доставить оттуда на Землю образцы грунта, главным образом для поиска признаков жизни. Это создает возможность “обратного загрязнения”, в результате которого микробы с Марса подвергнут опасности земную биосферу. Хотя все сходятся во мнении, что риск крайне мал, к нему относятся со всей серьезностью^[453]. Планируется, что такие образцы будут доставлены в лабораторию уровня BSL-4 нового типа, чтобы вероятность того, что хоть одна нестерильная частица попадет в окружающую среду, не превысила одного к миллиону^[454]. Хотя многие факторы остаются неизвестными, этот антропогенный риск представляется сравнительно невысоким и хорошо контролируемым^[455].