21 урок для XXI века

Не исключено, что в процессе исчезнет Homo sapiens как таковой. Сегодня мы по-прежнему человекообразные обезьяны из семейства гоминидов. У нас всё ещё много общего с неандертальцами и шимпанзе: строение тела, физические возможности и умственные способности. Из общего с другими гоминидами у нас не только руки, глаза и мозг, но и похоть, любовь, гнев и социальные обязательства. Через сто или двести лет слияние биотехнологий и искусственного интеллекта может привести к появлению физических и психологических черт, которых нет у гоминидов. Некоторые учёные даже полагают, что сознание можно будет отделить от органической основы, и оно будет свободно перемещаться по киберпространству, избавленное от всех биологических и телесных ограничений. С другой стороны, мы можем стать свидетелями полного отделения интеллекта от сознания, а развитие искусственного интеллекта приведёт к ситуации, когда миром будут управлять существа, наделённые суперинтеллектом, но полностью лишённые сознания.

Чем может ответить на это израильский, русский или французский национализм? Чтобы сделать разумный выбор относительно будущего, нужно подняться над националистической позицией и взглянуть на происходящее с глобальной или даже космической точки зрения.

Космический корабль «Земля»

Любой из этих трёх угроз — ядерной войны, экологической катастрофы или разрушительных технологий — вполне достаточно для уничтожения человеческой цивилизации. Но все вместе они создают опаснейший кризис, поскольку, по всей видимости, дополняют и усугубляют друг друга.

Несмотря на то что экологический кризис грозит уничтожить человеческую цивилизацию в её нынешнем виде, он едва ли остановит развитие искусственного интеллекта и биоинженерии. Не стоит надеяться, что повышение уровня океана, нехватка продовольствия и массовая миграция отвлекут внимание от изучения алгоритмов и генов. По мере усугубления экологического кризиса развитие рискованных, но сулящих огромные преимущества технологий только ускорится.

И действительно, изменение климата может сыграть ту же роль, что и две мировых войны. В периоды с 1914 по 1918 и с 1939 по 1945 год темпы технологического прогресса резко возрастали, поскольку участвовавшие в мировых войнах страны отбрасывали соображения осторожности и экономии и вкладывали огромные ресурсы в дерзкие и фантастические проекты. Многие из этих проектов провалились, но некоторые привели к созданию танков, радаров, отравляющих газов, сверхзвуковых реактивных самолётов, межконтинентальных ракет и ядерных бомб. Точно так же государства, столкнувшиеся с климатической катастрофой, могут не устоять перед искушением пуститься в отчаянные технологические авантюры в надежде на спасение. У человечества есть много обоснованных сомнений относительно искусственного интеллекта и биоинженерии, но во времена кризиса люди идут на риск. Как бы вы ни относились к запретам потенциально опасных технологий, спросите себя: будут ли эти запреты соблюдаться в ситуации, когда климатические изменения вызовут нехватку продовольствия, затопление городов по всему миру и перемещение через границы сотен миллионов беженцев?

Развитие технологий, в свою очередь, повышает вероятность апокалиптических войн — не только из-за усиления напряжённости в мире, но и из-за нарушения ядерного баланса между странами. С 1950-х годов супердержавы избегали взаимных конфликтов, потому что знали: война гарантированно приведёт к взаимному уничтожению. Но появляются новые виды наступательных и оборонительных вооружений, и набирающая силу технологическая супердержава может решить, что способна безнаказанно уничтожить врага. И наоборот: слабеющая страна будет опасаться, что традиционное ядерное оружие скоро устареет, и решит, что лучше использовать его, пока оно не стало бесполезным. До сих пор ядерное противостояние напоминало в высшей степени рациональную шахматную игру. Но что произойдёт, когда игроки получат возможность использовать кибератаки, чтобы захватить контроль над фигурами противника, когда анонимные третьи стороны будут двигать пешки так, что соперники даже не догадаются, кто сделал очередной ход или когда AlphaZero перестанет играть в обычные шахматы и возьмётся за ядерные шахматы?

Помимо того что угрозы, по всей видимости, будут дополнять друг друга, добрая воля, необходимая для противостояния одной угрозе, может быть ослаблена проблемами на другом фронте. Страны, втянутые в вооружённое противостояние, вряд ли договорятся об ограничениях на разработку искусственного интеллекта, а странам, стремящимся превзойти технологические достижения соперников, будет почти невозможно выработать общий план борьбы с изменением климата. В мире, поделённом на конкурирующие нации, человечеству будет очень трудно противостоять сразу всем трём угрозам, а неудача даже на одном фронте легко обернётся катастрофой.