На краю пропасти. Экзистенциальный риск и будущее человечества

Но я полагаю, что существуют и взаимовыгодные компромиссы. Например, теории морали можно разделить на те, в которых оценка ценности исходов повышается примерно в соответствии с увеличением объема расходуемых ресурсов, и те, где отдача резко падает. К первому типу относится классический утилитаризм, в соответствии с которым две галактики могут поддерживать вдвое больше счастья, чем одна, а следовательно, дают вдвое большую отдачу. Ко второму типу можно отнести практическую мораль, ведь интуитивно большинство людей не видит смысла в том, чтобы обеспечивать процветание за пределами планеты или галактики. Такие различия открывают путь к компромиссам, которые кажутся весьма выгодными обеим сторонам. Я называю этот феномен моральным компромиссом (Ord, 2015).

В частности, можно заключить “великий компромисс” между теориями морали, если сторонники теорий о падающей предельной полезности ресурсов решают, что делать с будущим нашей галактики, а сторонники теорий о высокой ценности дополнительных ресурсов решают, что делать с будущим всех остальных галактик во Вселенной (если только они не пускают ресурсы на вещи, которые активно не одобряют сторонники первых теорий). Конфликта удастся избежать, если каждая из групп увидит, что исход более чем на 99 % совпадает с оптимальным, а следовательно, выгода оказывается гораздо большей, чем если они вступят в борьбу за контроль над будущим или решат, к кому он перейдет, бросив жребий.

513

Возможно, для успешного долгого раздумья нужно будет расширить наши способности в результате одного из таких радикальных изменений. В таком случае мы окажемся в щекотливом положении, ведь нам придется сравнивать риск, сопряженный с внесением изменения, последствия которого непредсказуемы, с риском упустить при раздумье нечто важное, если наши способности останутся на прежнем уровне.

514

Для наглядности можно сравнить этот период с эпохой Возрождения. Большинство людей в Европе не принимало активного участия в возрождении культуры и накоплении знаний, и все же это грандиозный проект, которым прославилась Европа XIV–XVII веков. Различия в том, что долгое раздумье должно охватить весь мир, а принять в нем участие должно быть проще.

515

Schell (1982), p. 229.

516

Долгое раздумье может наложиться на последний этап реализации нашего потенциала, и они могут достаточно долго идти параллельно. Дело в том, что раздумья необходимы лишь перед совершением необратимых действий. Если обсуждение некоторых необратимых действий завершится раньше, их можно будет предпринимать, продолжая дискуссию об остальных шагах.

517

Порой я слышу из уст коллег, что важнее экзистенциального риска может быть вопрос о том, как относиться к бесконечной ценности (Bostrom, 2011a; Askell, 2018). Здесь стоит отметить две вещи: во первых, это вызов таким теориям, как утилитаризм, которые сложно применять в бесконечной Вселенной (а космологи полагают, что наша Вселенная именно такова), а во вторых, вопрос, можно ли создать нечто, обладающее бесконечной ценностью (что, вероятно, перевесило бы огромную, но конечную ценность защиты человечества).

Я не знаю, безумны эти вопросы или же глубоки. Как бы то ни было, их рассмотрение можно отложить до того момента, когда мы обеспечим экзистенциальную безопасность. Говоря о необходимости не допустить экзистенциальной катастрофы, мы не опираемся на такие теории, как утилитаризм, а если создать бесконечную ценность действительно можно, то экзистенциальная безопасность повысит наши шансы на это. Следовательно, даже рассмотрение таких вопросов, ответы на которые могут радикально изменить наш подход к оценке лучших вариантов будущего для человечества, предпочтительнее отложить на период долгого раздумья.

Некоторые этические вопросы о нашем долгосрочном будущем могут быть даже более насущными, чем задача обеспечения экзистенциальной безопасности, и потому их рассмотрение откладывать нельзя. Их важно найти и рассмотреть параллельно с обеспечением экзистенциальной безопасности.

518

Стивен Хокинг (Highfield, 2001): “Вряд ли человечество проживет еще тысячу лет, если не расселится по космосу. На одной планете с нами может случиться слишком много неприятностей. Но я оптимист. Мы доберемся до звезд”.

Айзек Азимов (1979, p. 362; перевод А. Девеля и Л. Девель): “И если мы сделаем этот выбор в двадцать первом столетии, мы можем распространиться в космосе и утратить свою уязвимость. Мы больше не будем зависеть от одной планеты или от одной звезды. И тогда человечество или его разумные потомки и их союзники смогут существовать и после прекращения существования Земли, после прекращения существования Солнца, после (кто знает?) прекращения существования нашей Вселенной”.

Майкл Гриффин, руководитель NASA (2008): “История жизни на Земле – это история вымираний, и экспансия человека в Солнечную систему, по сути, необходима для выживания вида”.