На краю пропасти. Экзистенциальный риск и будущее человечества

В Smart (1984), p. 140, и Bostrom (2014) авторы развивают эту мысль и показывают, какие еще плюсы и минусы есть у отсрочки.

553

Медленный прогресс (в отличие от простого сдвига всех дат назад на некоторое количество лет) может также дать нам больше времени, чтобы выявить угрозы, пока они не реализовались, и разобраться с ними. По сути, он уменьшит время нашего реагирования на них.

554

А еще теневые издержки для окружающей среды, о которых говорится чаще. Аргументы в этом случае аналогичны, и я также призываю пускать некоторую часть выгод, приобретаемых при использовании технологий, на снижение этих издержек.

555

Можно также сказать, что технологический прогресс, идущий сегодня, вообще не повышает благосостояние человечества. Даже если оценивать благосостояние лишь по материальным критериям, прогресс, возможно, повышает нашу обеспеченность лишь за счет существенного снижения ожидаемого благосостояния огромного числа будущих поколений.

В узком смысле это верно также в отношении самих технологий. Стремительной разработкой технологий движет алчность. В результате повышается технологический уровень на следующий год, но снижается ожидаемый технологический уровень в долгосрочном будущем.

556

Сложно найти время на это, когда в академической среде людей подталкивают к публикации как можно большего количества статей, а вознаграждение получают те, кто пишет о технической стороне дела, а не рассматривает вопросы этики и регулирования. Но систему мотивации в академической сфере разрабатывают сами ученые, поэтому они и должны изменить систему, если она их подводит (и вместе с ними подводит все человечество).

557

Молодому ученому или инженеру действительно неплохо пойти работать в правительство. На недостаточную научную грамотность и квалифицированность правительства чаще всего сетуют именно те люди, которые обладают соответствующими навыками и могут применить их в соответствующей сфере. Иными словами, неразумно винить людей, работающих в правительстве, в недостатке научных знаний, но вполне разумно винить людей, которые прекрасно разбираются в науке, за нежелание принимать участие в разработке регламентов.

558

UN (n. d.).

559

См. Grace (2015). Существуют разные мнения о том, насколько успешной была Асиломарская конференция. С момента разработки ее принципов прошло несколько десятилетий; некоторые из рисков, обсуждавшихся учеными, оказались не такими страшными, как представлялось ранее, поэтому многие правила были постепенно смягчены. Кроме того, некоторые критики назвали несостоятельной модель саморегулирования, принятую в Асиломаре, и отметили, что необходимо было призвать к решению вопроса гражданское общество (Wright, 2001).

560

См. Bostrom (2002b).

561

Это различие проводит Бустрём (Bostrom, 2014). В своем обзоре я опирался на его работу в соответствующей сфере.

562

Точное время, за которое экспонента уменьшается вдвое, – это натуральный логарифм 2 (≈0,69), деленный на годовой риск, а средняя продолжительность выживания – просто единица, деленная на годовой риск.

Обратите, однако, внимание, что падающей экспонентой описывается лишь объективная вероятность выживания. Поскольку мы не знаем, за какое время вдвое уменьшится субъективная вероятность нашего выживания, она представляется как взвешенное среднее двух этих экспонент и, как правило, сама не является экспонентой. В частности, у нее обычно более толстый хвост. (Такой же эффект наблюдается, когда мы не уверены в ставке дисконтирования; см. с. 290–291.)

563

Могут быть и риски, которые не входят ни в одну из этих категорий.

564

Различие между рисками состояния и рисками переходного периода не четкое. В частности, когда речь идет о рисках меняющегося характера, оно может зависеть от временных рамок. Возьмем, к примеру, риск ядерной зимы. В одних временных рамках он представляется риском состояния – и это логично для периода с 1960 по 1990 год. Но если уменьшить масштаб, мы увидим серию переходов, которыми нужно было управлять. Если увеличить масштаб, включив в рамки весь период до текущего момента, покажется, что уровень риска сильно различается при двух разных режимах (во время и после холодной войны). Если увеличить масштаб, включив в рамки все время, на протяжении которого человечество остается уязвимым для ядерного оружия, этот риск в масштабе веков снова покажется риском состояния, а геополитические колебания в масштабах десятилетий потеряют значимость. Если же еще сильнее увеличить масштаб, чтобы лишь небольшая область риска ядерной войны оказалась зажатой между доядерной и постъядерной эпохами, этот риск снова лучше будет рассматривать в качестве риска переходного периода, который ставит вопрос о том, как человечеству осуществить переход к режиму, при котором ядерную энергию удастся обуздать.