На краю пропасти. Экзистенциальный риск и будущее человечества

Экономические факторы риска могут возникнуть под действием изменения абсолютного уровня благосостояния (бедность), направления изменения текущего состояния (спад) и скорости изменений (стагнация).

484

Даже если бы они оказывали только непосредственное влияние, мы все равно могли бы причислить их к факторам риска (поскольку в строгом определении, которое я использую, говорится лишь, что они повышают риск, но не указывается, что повышение происходит опосредованно).

485

Искусственный интеллект также можно считать фактором риска. Такой эффект, как безработица, вызванная внедрением ИИ, не станет экзистенциальным риском, однако может угрожать серьезными политическими потрясениями и поэтому может быть причислен к факторам риска. Даже неконтролируемый ОИИ можно считать фактором риска, а не экзистенциальным риском, поскольку это не самостоятельный механизм уничтожения нашего потенциала, а новый источник волеизъявления, у которого может появиться мотив захватить контроль над нашим будущим любыми доступными средствами. Если система искусственного интеллекта действительно приведет нас к гибели, она убьет нас не одной лишь силой своего разума, а при помощи пандемий искусственного происхождения или других экзистенциальных угроз.

486

Возможно, не будет ни минимально, ни максимально достижимого значения (либо потому что область определения бесконечна, либо потому что интервал открыт). Ради простоты изложения я не стал учитывать эту возможность в основном тексте, но никаких особенных трудностей она не представляет. Поскольку вероятность экзистенциального риска имеет верхний и нижний пределы, мы можем заменить выражение Pr (X|f = f_max) супремумом (самой низкой вероятностью, которая выше Pr (X|f = f’) для всех возможных f’) и заменить Pr(X|f = f_min) соответствующим инфимумом.

487

Можно также учесть диапазон F. Это разница между Pr (X|f = f_min) и Pr (X|f = f_max). Она соответствует сумме вклада и потенциала F и не зависит от текущего значения.

488

Можно также учесть эластичность экзистенциального риска относительно f в окрестности fsq. Это пропорциональное изменение Pr (X) относительно небольшого пропорционального изменения f. Это безразмерная величина, показывающая чувствительность к фактору риска и позволяющая сравнивать факторы риска между собой.

489

В связи с этим также встает вопрос о переменных, которые и повышают, и снижают экзистенциальный риск в разных зонах своих областей определения (то есть там, где экзистенциальный риск не монотонен по этой переменной). Если влияние, оказываемое на экзистенциальный риск, монотонно в области возможных значений f, я предлагаю считать его фактором риска или фактором безопасности. Однако, если оно не монотонно даже в этом диапазоне, нам следует признать его более комплексным фактором.

Например, если измерять изменение климата в количестве градусов, на которые температура повысилась с доиндустриальных времен, вполне возможно, что возврат температуры к доиндустриальным уровням (и дальше) в итоге окажется непродуктивным для снижения экзистенциального риска. Однако, поскольку такая чрезмерная реакция сопряжена лишь с малой практической опасностью, имеет смысл считать потепление фактором риска.

490

Можно оценивать факторы безопасности по аналогии с факторами риска. Можно учитывать текущий вклад фактора в обеспечение нашей безопасности (в повышение вероятности того, что не произойдет экзистенциальной катастрофы) и его потенциал в дальнейшем снижении экзистенциального риска при максимальном усилении действия фактора. Наконец, можно учитывать влияние незначительных усовершенствований фактора безопасности на общий экзистенциальный риск.

491

Можно заподозрить, что снизить риск на один процент, если его изначальный уровень составляет 20 %, легче, чем если изначально он равен 5 %. Раньше я полагал, что эвристический принцип таков: уменьшить вероятность риска наполовину одинаково просто вне зависимости от отправной точки. Но ситуация может быть иной, если риск чрезвычайно высок, например 99,9 %. В таком случае катастрофа кажется неизбежной (иначе риск был бы ниже). Следовательно, лучше пользоваться таким эвристическим принципом: одинаково просто снизить в два раза соотношение шансов риска. Это значит, что риски средней вероятности (скажем, от 30 до 70 %) особенно просто снижать на один процентный пункт.