На краю пропасти. Экзистенциальный риск и будущее человечества

Но есть и экзистенциальные риски, при наступлении которых ценность будущего не упадет почти до нуля, а окажется очень большой и отрицательной. Это случаи, когда мы почти достигнем максимума по своим масштабам (во времени, пространстве, технологическом уровне), но заполним свое будущее чем то, что имеет отрицательную ценность. Разница в ценности между таким ужасным исходом и вымиранием может соперничать с разницей между вымиранием и лучшим из возможных вариантов будущего. Для таких рисков необходимо скорректировать подход к анализу общего риска. Например, если риск предполагает, что будущее будет ужасным в той же степени, в которой прекрасен лучший из его вариантов, этому риску стоит придать двойной вес (или вообще отказаться от метода общего риска и переключиться на менее изящный метод ожидаемой выгоды). Поскольку я считаю, что такие риски очень маловероятны (даже с поправкой на увеличенный вес), а не стану вдаваться в детали.

Вторая проблема связана с неочевидной формой корреляции – не между двумя рисками, а между рисками и ценностью будущего. Возможно, есть риски, которые с гораздо большей вероятностью могут наступить в мире с высоким потенциалом. Например, если можно разработать искусственный интеллект, значительно превосходящий человеческий по всем фронтам, это повышает риск неконтролируемого ОИИ, но также повышает ценность, которую мы можем создать, используя ОИИ, настроенный в соответствии с человеческими идеалами. Не учитывая эту корреляцию, метод общего риска недооценивает ценность работы с этим риском.

Можно представить, что у риска и блага есть общая причина, которая и создает корреляцию. Высокий потолок технологических возможностей может считаться еще одной общей причиной целого ряда рисков и исключительно положительных вариантов будущего. Я не стану принимать эту возможность в расчет в остальной части книги, но это важный вопрос, который заслуживает рассмотрения в будущем.

477

Обратите внимание, что если несколько рисков имеют очень высокую корреляцию, то лучше, вероятно, считать их одним риском: риском, что произойдут все связанные между собой катастрофы. Его можно обозначить по общей причине всех катастроф, а не по непосредственным причинам каждой из них.

478

Тем не менее между рисками может возникнуть и антикорреляция, если они окажутся на расходящихся траекториях нашего будущего развития. Например, риски недостаточной глобальной координации и риски глобального тоталитаризма.

479

Как правило, я всячески рекомендую не предполагать наличие статистической независимости. Такое предположение часто приводит к недооценке вероятности экстремальных событий, когда все переменные движутся в одном направлении. Его вариацией можно считать предположение, что переменные распределяются нормально (поскольку нормальное распределение получается из суммы многих независимых переменных, согласно центральной предельной теореме). Известный пример того, как возникает ошибка, – модель ценообразования опционов Блэка – Шоулза, которая основывается на предположении о нормальном распределении и потому сильно недооценивает вероятность сильных коррелирующих колебаний цен.

Однако агрегирование экзистенциальных рисков может быть тем редким случаем, когда предполагать наличие статистической независимости не так уж плохо, поскольку нас меньше беспокоят ситуации, в которых множество событий происходит вместе.

480

Сегодня в этот список входят США, Россия, Китай и Европа. К концу текущего столетия он может сильно измениться.

481

Я не участвовал в первом исследовании “Глобальное бремя болезней” (World Bank, 1993; Jamison et al., 2006), но сыграл незначительную роль, выступив консультантом по нормативной базе при подготовке недавних отчетов в его рамках (GBD, 2012), и настоял, чтобы ставка дисконтирования для здоровья была приравнена нулю, что стало одним из ключевых изменений в сравнении с более ранними отчетами.

Еще больше меня вдохновил сопутствующий исследованию проект “Приоритеты контроля заболеваемости в развивающихся странах” (Jamison et al., 1993; Jamison et al., 2006). В нем рассматривается не то, сколько нездоровья вызывает каждая из причин, а насколько эффективны в пересчете на потраченные доллары различные меры предупреждения заболеваемости. Проект раскрыл мне глаза на поразительные различия в рентабельности разных способов укрепления здоровья и помог понять, что поддержка правильно выбранных благотворительных фондов может дать в сотни и тысячи раз больший эффект (Ord, 2013). Я выступил консультантом при подготовке третьей редакции проекта (Jamison, Gelband et al., 2018; Jamison, Alwan et al., 2018).

482

Говоря о “повышении”, я имею в виду, что фактор риска приводит к увеличению экзистенциального риска, а не просто находится в корреляции с ним. В частности, необходимо, чтобы воздействие на фактор риска приводило к соответствующему изменению уровня экзистенциального риска. Это можно выразить математически с помощью предложенного Джудой Перлом do-оператора – например, Pr (X|do (f = fmin)) (Pearl, 2000).

483