На краю пропасти. Экзистенциальный риск и будущее человечества

Чтобы улучшить ситуацию, можно создать международный орган (например, в рамках ООН), который рассматривал бы эти вопросы, нанять людей, ответственных за сбор лучших аргументов за и против, и назначить сведущего в науке судью для вынесения вердикта о том, можно ли проводить эксперимент в текущий момент, или же его следует отложить до тех пор, пока не найдутся более весомые доводы в его пользу. Я подозреваю, что лишь немногие эксперименты были бы запрещены. (Такая модель могла бы работать, даже если бы вердикты не имели официальной силы.)

461

Ядерное оружие не вошло бы в список, поскольку механизм радиоактивного распада был открыт только в 1938 году. Туда бы также не вошли пандемии искусственного происхождения, так как первая демонстрация генной инженерии состоялась в 1960-х годах. Компьютеры еще не были изобретены, а идею об искусственном интеллекте и сопряженных с ним рисках ученые стали всерьез обсуждать лишь в 1950-х годах. Гипотеза о вероятности антропогенного глобального потепления восходит к 1896 году, но поддержку она получила только в 1960-х годах, а статус общепринятого риска приобрела в 1980 х.

Американский правительственный доклад о будущем технологий, подготовленный в 1937 году, служит прекрасным примером того, насколько трудно осуществлять прогнозирование (Ogburn, 1937; Thomas, 2001). В нем не упоминаются ни атомная энергия, ни антибиотики, ни реактивные самолеты, ни транзисторы, ни компьютеры, ни какие либо вопросы, связанные с космосом.

462

Bostrom (2013; 2018).

463

Einstein & New York Times (1946).

464

По данным онлайн-анкетирования, проведенного пользователем GitHub под ником Zonination (Zonina-tion, 2017). Эти результаты во многом совпадают с результатами эксперимента, проведенного ЦРУ над офицерами разведки (Heuer, 1999).

465

В связи с этим возникают трудности с использованием фразы “крайне маловероятно, что случится X” в качестве аргумента, поскольку необходимо уделять больше внимания X. Ситуация была бы иной, если бы фраза “крайне маловероятно” соответствовала диапазону вероятности, например от 1 к 10 до 1 к 100, поскольку на эти цифры легко ссылаться, утверждая, что риск необходимо принимать всерьез. Из-за этого проблемы возникают у МГЭИК, которая в своих отчетах использует не численные вероятности, а подобные фразы.

466

Pinker (2018), p. 295; перевод Г. Бородиной и С. Кузнецовой.

467

Еще одна причина, по которой некоторые предпочитают не называть цифры, состоит в том, что им не хочется быть пойманными на слове, а словесные описания допускают расплывчатость. Мне же нравится называть точные цифры, раскрывать карты и давать другим возможность найти пути для улучшения ситуации. Только прозрачность и готовность признать ложность своих выводов позволяют нам расти в интеллектуальном отношении.

468

Моя оценка в 1 к 10 000 на век эквивалентна ожидаемой продолжительности жизни в 1 млн лет. Хотя я полагаю, что летопись массовых вымираний, вполне возможно, дает нам истинную частоту вымираний, около одного в 100 млн лет, я также считаю, что лучше ориентироваться на типичную продолжительность существования видов, а это сильно увеличивает средние показатели. Не забывайте, что палеонтологическая летопись надежна лишь при изучении природных рисков вымирания, но не других типов экзистенциального риска. Здесь я предполагаю, что их уровень примерно совпадает с уровнем рисков вымирания, поскольку это в общих чертах соответствует реальности для рисков, которые мы рассмотрели подробно, но неопределенности с ними больше.

469

Это аналогично Байесовскому выводу, согласно которому гипотеза становится отправной точкой и корректируется по мере получения новых данных. В нашем случае я предлагаю начинать с нестрогой априорной вероятности, определенной на основе базовых норм и других факторов, учитываемых при расчете лучшей оценки, пока не появятся объективные данные (если они появятся вообще). Я не вижу веских доводов в пользу того, чтобы начинать с априорной вероятности, очень близкой к нулю.

470

Как мои оценки выглядят в сравнении с другими? Эти риски редко получают серьезные оценки от ученых, которые уделяют им пристальное внимание. К счастью, несколько пионеров исследования экзистенциального риска назвали свои цифры. Джон Лесли (1996, pp. 146–147) оценил риск в последующие пять столетий в 30 % (после чего, по его мнению, нам очень повезет, если мы сохраним возможность реализовать свой потенциал). Ник Бустрём (2002b) высказался об общем экзистенциальном риске в долгосрочной перспективе: “На мой субъективный взгляд, ошибкой будет присвоить ему вероятность менее 25 %, а лучшая оценка может быть и существенно выше”. Мартин Рис (2003) оценил вероятность глобального (хотя, возможно, временного) коллапса цивилизации в XXI веке в 50 % (в книге нет точных указаний на масштаб оцениваемой катастрофы, но позже Рис пояснил, что имел в виду коллапс цивилизации). Мои оценки сопоставимы с этими.