На краю пропасти. Экзистенциальный риск и будущее человечества

В-третьих, может оказаться, что работать надо в первую очередь с крупнейшими рисками. Мы увидели, что в случае, когда мы сталкиваемся с независимыми 10 %-ным и 20 %-ным рисками, устранение 10 %-ного риска снижает общий риск на 8 %, а устранение 20 %-ного риска – на 18 % (см. с. 208–209). Следовательно, снижение большего риска важнее не в 2 раза, а в 2,25 раза.

Для точного расчета относительной важности независимых рисков наивное соотношение вероятностей необходимо умножить на дополнительный фактор: отношение вероятности того, что первая катастрофа не произойдет, к вероятности того, что не произойдет вторая катастрофа^[660]. Когда риски невелики, вероятность того, что каждая из катастроф не произойдет, близки к единице, поэтому и отношение тоже должно быть близким к единице, что почти не меняет дело. Но когда риск высок, отношение тоже вырастает, и это принципиальная разница^[661].

Допустим, мы сталкивались бы с 10 %-ным риском и 90 %-ным риском. В таком случае наивное отношение составляло бы 9:1 и корректировка – тоже 9:1, поэтому устранение 90 %-ного риска было бы в 81 раз важнее, чем устранение 10 %-ного риска (см. Рис. Г.1). Пожалуй, легче всего понять это, если учесть, что 90 %-ный риск в 9 раз вероятнее, а мир, где он устранен, имеет в 9 раз больше шансов устоять перед остальными рисками.

Такую корректировку можно также проводить в других похожих случаях. Снижение 90 %-ного риска наполовину в 81 раз важнее снижения наполовину 10 %-ного риска, и это же справедливо при их снижении в любое другое количество раз. Даже снижение риска на фиксированную абсолютную величину, например на один процентный пункт, важнее для более крупного риска. Снижение 90 %-ного риска до 89 % в 9 раз важнее, чем снижение 10 %-ного риска до 9 %^[662].

Рисунок d.1. Независимые 10 %-ный и 90 %-ный риски дают общий риск в 91 %. Устранение 10 %-ного риска снизит общий риск (вся залитая область на рисунке) всего на один процентный пункт до 90 %, в то время как устранение 90 %-ного риска снизит его на 81 процентный пункт до 10 %.

Все три описанных эффекта наблюдаются вне зависимости от того, наступают риски в одно или в разное время^[663]. Следовательно, если в нашем будущем много риска, устранение рисков может становиться все более важным с каждым последующим столетием. Многие силы в общем случае приводят к убыванию отдачи от работы (например, тот факт, что мы можем начать с рисков, работать с которыми проще). Но если нам не повезет и риска будет много, то общая предельная отдача от борьбы с экзистенциальным риском, возможно, будет возрастать. И, вероятно, особенно важно будет работать с крупнейшими рисками.

Приложение Е

Ценность защиты человечества

Насколько ценно защищать человечество? Хотя дать точный ответ на этот вопрос не получится, один подход к нему представляется мне весьма полезным.

Начнем с намеренно примитивной модели экзистенциального риска. В этой модели делаются три допущения: о распределении риска во времени, о способах снизить этот риск и о ценности будущего. Для начала допустим, что уровень экзистенциального риска не меняется от века к веку, но остается неизвестным, и обозначим его r (постоянный уровень риска). Следовательно, когда мы вступаем в новый век, сохраняется вероятность r, что до следующего века мы не доживем. Далее допустим, что своими действиями мы можем снизить вероятность экзистенциальной катастрофы в текущем веке с r до некоторого меньшего числа. И наконец допустим, что каждый век до катастрофы обладает одинаковой ценностью v, то есть ценность будущего пропорциональна его продолжительности до катастрофы. (Это значит, что ценность будущего не дисконтируется, не считая вероятности того, сколько мы проживем до катастрофы, и не учитывая, что мы делаем предположения о популяционной этике^[664].) При таких допущениях ожидаемая ценность (ОЦ) будущего рассчитывается по формуле:

Это просто ценность одного века, деленная на вековой риск. Так, если вековой риск составляет 1 к 10, то ожидаемая ценность будет в десять раз больше ценности одного века.

Отсюда вытекает неожиданное следствие: что ценность устранения всего экзистенциального риска в текущем веке не зависит от того, насколько высок этот риск. Чтобы увидеть это, представьте, что вековой экзистенциальный риск составляет всего одну часть на миллион. Хотя вероятность того, что мы станем жертвами риска нашего века, ничтожна, будущее, которое мы потеряем, если это все-таки случится, сообразно огромно (в среднем миллион веков). В примитивной модели эти эффекты всегда уравновешивают друг друга. Ожидаемая ценность экзистенциального нериска в текущем веке рассчитывается по формуле:

Следовательно, ожидаемая ценность устранения всего риска в столетии просто равна ценности столетия жизни для человечества^[665].