На краю пропасти. Экзистенциальный риск и будущее человечества

Хотя я бы порекомендовал просто подождать еще несколько десятилетий – до тех пор, пока мы, предположительно, не сможем провести большинство этих испытаний прямо на Марсе. Пусть риск мал и достаточно хорошо контролируется, но нужно ли нам вообще на него идти?

456

Одна причина, по которой это маловероятно, заключается в том, что пока не найдено никаких признаков существования другой разумной жизни в космосе. См. примечание 46 к главе 2, где я излагаю свои соображения о “парадоксе Ферми” и том, действительно ли мы одни во Вселенной.

Другая причина в том, что инопланетяне могли бы прилететь сюда в любой из миллионов других веков, поэтому вероятность того, что впервые они прилетят к нам именно сейчас, очень невелика. Этот аргумент можно отвергнуть, если считать, что внеземная цивилизация просто выжидала подходящего момента, но в таком случае это значительно более продвинутая цивилизация, чем наша, и мы неминуемо окажемся в ее власти. Тот факт, что мы вряд ли можем предпринять хоть какие то значимые действия, чтобы ей противостоять, не меняет общей вероятности возникновения экзистенциального риска из за столкновения с враждебной внеземной цивилизацией, но позволяет предположить, что такой риск будет чисто схоластическим, поскольку в реальности мы вряд ли сумеем существенно повысить или снизить его.

457

При пассивном SETI мы сталкиваемся с теми же опасностями, что и при получении электронного письма от непроверенных третьих лиц. Например, если бы они разработали сверхразумный ИИ, они могли бы отправить в письме алгоритм продвинутого враждебного ИИ.

Ничто из этого нельзя считать вероятным, но, поскольку такие действия имеют важность, только если неподалеку действительно существуют внеземные цивилизации, главный вопрос в том, каково соотношение мирных и враждебных цивилизаций. У нас мало данных, чтобы судить, высоко ли оно, и ученые пока не пришли к консенсусу по этому вопросу. Учитывая, что вред может быть гораздо большим, чем польза, мне кажется, что в такой ситуации не слишком рационально предпринимать активные шаги, чтобы установить контакт.

458

Разумеется, в некотором смысле беспрецедентно почти любое событие, ведь оно в мелочах отличается от всего, что происходило ранее. Я не хочу сказать, что этого достаточно, чтобы вызвать риск. Меня интересуют лишь случаи, когда существенно меняется значимый на первый взгляд параметр, в результате чего они оказываются за пределами исторического диапазона. Именно такие события лишают нас комфорта, который дает знание о том, что долгое время прошло без катастроф. Условия могут быть беспрецедентными с момента рождения Вселенной, с момента формирования Земли, с момента появления Homo sapiens или с момента возникновения цивилизации – в зависимости от того, чего именно мы боимся: коллапса цивилизации, уничтожения нашего вида, разрушения планеты или ущерба космических масштабов.

Одним из первых такой тип экзистенциального риска в своем романе “Колыбель для кошки”, опубликованном в 1963 году, рассмотрел Курт Воннегут. Он описал искусственный кристалл льда (“леддевять”), твердый при комнатной температуре и вызывающий цепную реакцию в жидкой воде, превращая ее в леддевять. Поскольку такая форма льда в естественном состоянии не встречалась на Земле на протяжении всей ее истории и поскольку она обладает такими яркими свойствами, ее можно считать беспрецедентным условием в соответствии с моим определением. В книге ее появление приводит к экзистенциальной катастрофе, когда она вступает в контакт с земными океанами, в результате чего вся вода переходит в это странное твердое состояние.

459

Не забывайте, что ученых миллионы, поэтому, даже если субъективная вероятность вымирания в результате неудачного эксперимента составляет лишь один к миллиону, она может быть слишком высока. (Особенно с учетом предвзятостей и ошибок отбора, которые приводят к тому, что даже сознательные ученые систематически недооценивают риски.)

460

Существует несколько ключевых проблем управления рисками. Во-первых, ученые, как правило, применяют свой эпистемологический стандарт высокой уверенности в том, что катастрофы не случится, при условии что их базовые научные теории и модели верны, а не анализируют, что стоит на кону, и не проверяют, как такие теории и модели вели себя в прошлом (Ord, Hillerbrand & Sandberg, 2010).

Во-вторых, ученые, как правило, принимают решения в одиночку. Хотя они настоящие эксперты в соответствующих вопросах, им не хватает важного опыта анализа рисков и оценки ставок. Это также приводит к возникновению различных систематических ошибок и конфликтов интересов, когда те люди, чья работа (как и работа их коллег) зависит от выносимого вердикта, сами выносят этот вердикт. Это противоречит общепринятым нормам, в соответствии с которыми при определении того, стоит ли действовать определенным образом, нужно учитывать мнение людей, которые в результате подвергнутся угрозе (о которой идет речь).