На краю пропасти. Экзистенциальный риск и будущее человечества

Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.

Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.

Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию. Нам решать, как мы будем работать с этим риском.

Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.

Проблема не столько в переизбытке технологий, сколько в недостатке мудрости^[65]. Особенно хорошо об этом сказал Карл Саган:

Большинство угроз, с которыми мы сталкиваемся, действительно обусловлены наукой и технологиями, но на более фундаментальном уровне они вызваны тем, что мы стали могущественнее, при этом не став соизмеримо мудрей. Средства изменения миров, полученные нами благодаря технологии, требуют такой осмотрительности и дальновидности, которые не требовались нам никогда ранее^[66].

Адвокатом этой идеи выступает даже бывший президент США:

Сама искра, которая служит отличительной особенностью нашего вида, – наши мысли, наше воображение, наш язык, наше умение изготавливать инструменты, наша возможность отстраняться от природы и подчинять ее своей воле – всё это также дает нам беспрецедентные способности к разрушению… Технологический прогресс, не сопровождаемый эквивалентным прогрессом в сфере человеческих институтов, обречет нас на гибель. Научная революция, которая привела к делению атома, требует и революции в моральной сфере^[67].

Нам нужно обрести эту мудрость, пережить моральную революцию. Поскольку вымирание необратимо, нельзя откладывать дела на потом и ждать, когда угроза воплотится в жизнь. Необходимо действовать заблаговременно. Мудрость не обрести, а моральную революцию не начать в одночасье, поэтому нам пора браться за дело.

Думаю, мы, скорее всего, переживем этот период. Не потому, что трудности незначительны, а потому, что мы сумеем с ними справиться. Упомянутые риски проистекают из действий человека, и одно это показывает, что человек в состоянии на них ответить^[68]. Пораженчество неуместно и контрпродуктивно, как самосбывающееся пророчество. Нам следует работать с этими рисками, рассуждая трезво и беспристрастно и руководствуясь позитивным видением будущего, которое мы стараемся защитить.

Как серьезны эти риски? Сложно точно ответить на этот вопрос, ведь речь идет о комплексных (то есть не поддающихся простому математическому анализу) и беспрецедентных (то есть не подлежащих аппроксимации по частоте возникновения в долгосрочной перспективе) рисках. И все же очень важно хотя бы попытаться дать количественную оценку. Такие качественные утверждения, как “серьезный риск вымирания человечества”, можно трактовать как риск в диапазоне от 1 до 99 %^[69]. Они не проясняют ситуацию, а усиливают путаницу. В связи с этим я предлагаю количественные оценки, но с оговоркой, что их нельзя считать точными и можно пересматривать.