На краю пропасти. Экзистенциальный риск и будущее человечества

Защита нашего потенциала (а следовательно, и экзистенциальная безопасность в целом) предполагает, что людям необходимо закрепить за собой обязательство не допустить экзистенциальной катастрофы. Здесь возникает любопытное противоречие с утверждением, что блокировку сценариев нужно сводить к минимуму (с. 189). Дело в том, что бороться с общей блокировкой (вызываемой экзистенциальным риском) лучше всего помогает закрепление небольшого количества отдельных ограничений.

И все же следует быть крайне осторожными, когда мы закрепляем хоть какую нибудь идею, поскольку мы рискуем отрезать путь к тому, что могло оказаться лучшим из вариантов. Можно сделать обязательство не допускать экзистенциального риска не категорическим (например, удерживать общий риск на определенном уровне во все грядущие века), а более мягким, чтобы от него было сложно, но возможно отказаться. Хороший пример – конституции: как правило, в них можно вносить изменения уже после принятия, но процедура очень сложна.

506

Обеспечивать это можно множеством способов: не допускать новых пожаров, повышать пожарную безопасность зданий, содержать хорошо оснащенную пожарную часть. Есть и аналогичные способы оберегать наш потенциал.

507

Здесь поможет числовой пример. Для начала допустим, что мы сумели снизить вековой экзистенциальный риск до 1 % и удерживаем его на этом уровне. Это прекрасный первый шаг, но его необходимо дополнить обязательством снижать риск и дальше. При вековом риске в 1 % у нас в среднем будет только 100 веков, прежде чем случится экзистенциальная катастрофа. Может показаться, что это долгий срок, но это лишь 5 % от продолжительности нашего существования к настоящему моменту и лишь крошечная доля того, чего мы должны бы достигнуть.

Напротив, если бы мы нашли способ непрерывно снижать риск в каждом веке, экзистенциальная катастрофа не была бы предопределена. Например, если бы с каждым следующим столетием мы снижали вероятность вымирания на одну десятую (1 %, 0,9 %, 0,81 %…), вероятность того, что мы не столкнемся с экзистенциальной катастрофой никогда, сколько бы веков ни прошло, превысила бы 90 %. Ведь вероятность того, что мы выживем во все периоды, такова:

(100 % – 1 %) x (100 % – 0,9 %) x (100 % – 0,81 %) x … ? 90,4598 %.

Это значит, что с вероятностью более 90 % мы проживем до того момента, пока не дойдем до какого нибудь непреодолимого внешнего рубежа: например, когда умрут последние звезды, когда все вещество преобразуется в энергию или когда мы достигнем всего, чего можно достичь, имея доступные нам ресурсы.

Непрерывное снижение риска может оказаться проще, чем мы думаем. Если бы риски каждого века были никак не связаны с рисками следующего века, со временем нам приходилось бы прилагать все больше усилий, чтобы их снижать. Но многие действия, которые мы можем совершить сегодня, снижают риски на долгие времена. Это, например, изучение экзистенциального риска и лучших стратегий для работы с ним, воспитание благоразумия и терпения в нашей цивилизации, а также создание институтов для исследования экзистенциального риска и управления им. Поскольку эти действия влияют и на риски в последующие периоды, они могут способствовать снижению векового риска, даже если количество усилий со временем остается неизменным. Кроме того, число новых антропогенных рисков может быть ограничено, и тогда в последующие столетия не будет появляться новых рисков, которыми придется управлять. Например, если мы доберемся до технологического потолка, у нас не будет возникать новых технологических рисков.

508

При расстановке приоритетов важно соблюдать баланс между обеспечением надежной долгосрочной защиты и тушением пожаров, чтобы дать себе шанс дожить до того момента, когда надежная защита пойдет нам на пользу. И баланс этот зависит от того, как, на наш взгляд, риск распределяется во времени. Возможны даже такие ситуации, когда лучше всего совершать действия, сопряженные с мгновенным риском, если это нивелируется тем, насколько они снижают долгосрочный риск. Примерами могут служить разработка продвинутого искусственного интеллекта и централизация контроля над глобальной безопасностью.

509

Это название предложил Уильям Макаскилл, который также изучает необходимость этого процесса и возможный механизм его работы.