На краю пропасти. Экзистенциальный риск и будущее человечества

Можно также сказать, что ожидаемая ценность нашего будущего при сохранении рисков равна V. Если устранить вероятность экзистенциальной катастрофы в одном веке, мы фактически даром получим безопасный век, вслед за которым начнется будущее, обладающее изначальной ценностью. Следовательно, ценность, которую мы добавляем, – это ценность века для человечества. Или же мы можем спросить, сколько лет потребуется, чтобы снова нарастить тот риск, который мы устранили. В этой примитивной модели ценность устранения риска равна ценности соответствующего количества лет.

Обратите внимание, что, говоря о ценности века для человечества, я имею в виду его собственную ценность. Поскольку действия человечества сегодня могут сильно повлиять на собственную ценность будущих веков, значительную долю взвешенной ценности века составляет его инструментальная ценность. Например, то, в какой степени мы углубим свои знания, усовершенствуем технологии, улучшим институты и сохраним природные ресурсы, которые передадим следующим поколениям. А также, разумеется, насколько мы повысим или снизим общий экзистенциальный риск (хотя в примитивной модели инструментальная ценность снижения нашего экзистенциального риска в лучшем случае равняется собственной ценности века).

666

Чтобы эффект был значимым, коэффициент повышения ценности не должен всегда быть выше уровня риска. Это хорошо, поскольку имеющиеся у нас данные позволяют предположить, что в чрезвычайно долгосрочной перспективе уровень риска будет примерно постоянным (из за небольшого количества неустранимого риска), а это значит, что в ином случае, чтобы компенсировать его, ценность должна была бы возрастать по экспоненте. Но кажется весьма вероятным, что ценность, которую мы можем создать, имея заданное количество ресурсов, в конце концов достигнет предела, а скорость света ограничивает темпы обретения новых ресурсов кубической величиной.

667

Можно оспорить это утверждение, сделав гипотетическое предположение: эти выводы полезны, но другие люди в будущем все равно пришли бы к ним, поэтому никакого гипотетического влияния на будущее они не оказывают. Этот аргумент не лишен достоверности. Хотя информация из этой книги все равно окажет некоторое гипотетическое влияние на будущее, это влияние будет оказано посредством развития диалога таким образом, чтобы люди будущего, способные сделать следующие шаги, могли отталкиваться от того, что было сделано в прошлом. Но предельная ценность этих следующих шагов может оказаться убывающей. Следовательно, если опираться на гипотетическое предположение, ценность текущей работы с будущим риском будет ниже, чем кажется, и, возможно, станет убывать со временем.

Но это не влияет на мои аргументы. Дело в том, что, если мы предполагаем, что другие люди в будущем будут проводить важную дополнительную работу с экзистенциальным риском, это позволяет сделать вывод, что риск в грядущие века не будет постоянным, а будет снижаться. Как бы то ни было, существует подобный эффект, который мы вскоре увидим.

668

Ю Кванг Нг (Yew-Kwang Ng, 2016) также заметил этот неочевидный эффект.

669

Этот термин предложил Бустрём (Bostrom, 2013). Дэвид Дойч (2011) убедительно отстаивает противоположную точку зрения.

Мы также можем достичь некоторой социальной или политической зрелости, когда перестанем заигрывать с такими радикально новыми системами, как тоталитарные и коммунистические эксперименты XX века, и сформируем стабильное общество, которое больше никогда не сможет погрязнуть в тирании.

670

Прирост ценности в общем зависит от отношения риска в следующем веке к долгосрочному вековому риску. Например, если вероятность экзистенциальной катастрофы в текущем столетии составляет 1 к 10, но стремительно снижается до уровня фонового природного риска, то есть менее 1 к 200 000 в столетие, то ценность устранения риска в текущем столетии в сравнении с примитивной моделью возрастает в 20 000 раз.

671

На математическом языке можно сказать, что вероятности ценности будущего распределяются асимметрично (хотя в логарифмическом пространстве они, вероятно, распределяются симметрично). Ожидаемая ценность будущего соответствует среднему этого распределения, а оно может быть значительно выше медианы.

672

Договор продлен до 2026 года. – Прим. науч. ред.

673