На краю пропасти. Экзистенциальный риск и будущее человечества

Основной экзистенциальный риск от ядерного оружия сегодня, вероятно, по-прежнему связан с огромными арсеналами России и США. Разработка МБР (межконтинентальных баллистических ракет) дала каждой из сторон возможность уничтожить большую часть ракет противника, потратив лишь тридцать минут на подготовку, и поэтому обе стороны перевели многие ракеты в “состояние повышенной готовности”, благодаря чему их можно запускать всего за десять минут[64]. При таком уровне готовности ракеты очень легко запустить случайно или намеренно при ложной тревоге. Как мы увидим в четвертой главе, леденящий душу список ложных тревог продолжает пополняться и по завершении холодной войны. В более длительной перспективе также существует риск, что другие страны создадут собственные огромные арсеналы, что инновации в военных технологиях подорвут логику сдерживания путем устрашения и что сдвиги в геополитической сфере приведут к началу новой гонки вооружения с участием крупных держав.

Человечеству угрожает не только ядерное оружие. Наше внимание направлено именно на него, поскольку оно стало первым серьезным риском и уже грозило человечеству. Но есть и другие риски.

Экспоненциальное повышение благосостояния, которое подтолкнула промышленная революция, сопровождалось стремительным ростом объема выбросов углекислого газа. Незначительный побочный эффект индустриализации в конце концов вылился в глобальную угрозу здоровью, окружающей среде, международной стабильности и, возможно, даже всему человечеству.

Ядерное оружие и изменение климата имеют поразительные сходства и различия. В обоих случаях человечеству грозят существенные сдвиги в температуре Земли, но эти сдвиги направлены в разные стороны. Один из них – результат непредсказуемого научного прорыва, другой – продолжение векового развития старых технологий. Один связан с малым риском внезапной и резкой катастрофы, другой предполагает длительный, постепенный процесс с отложенным началом, где катастрофа в некоторых масштабах неизбежна и неясно только, насколько серьезной она будет. Один сопряжен с секретной военной технологией, контролируемой горсткой могущественных людей, другой – с совокупностью малых воздействий на мир со стороны каждого из его обитателей.

Технологии продолжают развиваться, и на горизонте возникают новые угрозы. Эти угрозы, вероятно, будут похожи скорее на ядерное оружие, чем на изменение климата: они будут возникать из-за неожиданных прорывов, приводить к резким катастрофам и связываться с действиями небольшого числа лиц. Меня особенно заботят две зарождающиеся технологии, которым будет посвящена пятая глава.

С самой неолитической революции мы меняли геном растений и животных, чтобы удовлетворять свои нужды. Но открытие генетического кода и создание инструментов, позволяющих читать и переписывать его, привело к резкому расширению нашей способности перестраивать жизнь с новыми целями. Внедрение биотехнологий приведет к значительному прогрессу в медицине, промышленности и сельском хозяйстве. Но возникнут и риски для цивилизации и самого человечества, и их источниками будут как случайности, которые могут произойти при санкционированных исследованиях, так и возможность создания биологического оружия.

Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.

Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.

Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию. Нам решать, как мы будем работать с этим риском.