Война и еще 25 сценариев конца света

Еще один интересный вариант нового глобального риска предложен в статье «Поведение распада фальшивого вакуума в поздние промежутки времени: возможные последствия для космологии и метастабильных инфляционных состояний»,[58] в русскоязычной прессе пересказанной под броскими заголовками «Астрономы разрушат Вселенную».[59] В ней говорится, что скорость распада квантовых систем зависит от того, наблюдаются они или нет (проверенный факт), а затем это обращается на проблему наблюдения устойчивости Вселенной как целого в связи с проблемой так называемой темной энергии: «Измерив плотность темной энергии, мы вернули ее в начальное состояние, по сути, сбросив отсчет времени. А в этом начальном состоянии вакуум распадается в соответствии с “быстрым” законом, и до критического перехода к “медленному” распаду еще очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным ее скорый распад».

Хотя вряд ли этот риск реален, сама идея иллюстрирует возможность того, что новый глобальный риск, связанный с физическими экспериментами, может прийти с самой неожиданной стороны.

Поскольку в экспериментах всегда имеет место доля риска, имело бы смысл отложить наиболее смелые из них до момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе.

Оценки риска: ошибки и подтасовки

В связи с физическими экспериментами встает вопрос о том, в какой мере мы можем доверять ученым, крайне заинтересованным в продолжении своих экспериментов, самостоятельно устанавливать допустимые границы рисков.

В ЦЕРН эта проблема частично решается через создание анонимных экспертных комиссий для оценки рисков. (Однако анонимность делает авторов такого отчета более безответственными.) И если такая комиссия говорит нам, что шанс катастрофы составляет 1 на 100 миллионов, мы можем это понимать как то, что шансы того, что эта комиссия ошибается, составляют 1 на 100 миллионов. Иначе говоря, если бы эта комиссия написала 100 миллионов отчетов по безопасности, то только один из них был бы ложным.

Очевидно, что ни один человек и никакая человеческая институция не могут быть безошибочными в такой степени. Ошибки и подлоги регулярно обнаруживаются даже в опубликованных в самых авторитетных научных журналах статьях, которые, как предполагается, прошли через руки нескольких рецензентов. Особенно этим отравлены области, где результат трудно проверить, а его коммерческое значение велико (например, медицинская статистика).

Я вовсе не утверждаю, что анализ безопасности физических экспериментов выполняется недостоверно, однако небольшую вероятность этого мы должны допускать. И она окажется значительно большей, чем вероятностная оценка, даваемая в самом исследовании. По доле отозванных или опровергнутых статей можно было бы оценить и вероятность наткнуться на достоверную статью. Хотя у меня нет точных цифр, но это никак не 1 к 100 миллионам, а скорее 1 к 1000, или, может быть, даже больше.

Из сказанного следует, что каковы бы ни были оценки безопасности, мы не должны им доверять более, чем на 99,99 процента, что автоматически делает эту величину максимально возможной оценкой безопасности.

Можно проиллюстрировать неприемлемость риска 1 к 100 миллионам и другим образом. Если это риск одного эксперимента, то это еще ничего. Но если бы такой эксперимент мог провести каждый из 6 миллиардов жителей Земли, то это означало бы неизбежную гибель Земли. Таким образом, эта оценка риска бессмысленна, если к ней не добавлено ограничение на число будущих опасных экспериментов.

Глава 16 Маловероятные сценарии человеческого вымирания

В то время как одним сценариям вымирания мы можем приписать значительную вероятность, другие имеют шансы в тысячные или даже миллионные доли процента. Не проще ли пренебречь этими сценариями, так как погрешность более вероятных сценариев значительно перекрывает вклад маловероятных? Однако не только соображения «научной честности» могут побудить нас исследовать маловероятные сценарии. Нам нужны твердо обоснованные доказательства их маловероятности.

То, что кажется крайне маловероятным в одной системе описания, может выглядеть вполне реальным в другой. Например, с точки зрения статистики вероятность того, что в два небоскреба в Нью-Йорке одновременно врежутся два самолета – ничтожна. (А именно, примерно 1 раз в 20 миллионов лет, или даже еще реже, если основываться на временном промежутке примерно в 50 лет, отделяющем нас от предыдущей катастрофы такого рода, когда бомбардировщик Б-25 врезался в Эмпайр Стэйт Билдинг 28 июля 1945 года.) Даже в триллере Тома Клэнси «Долг чести» (1994), в котором, как считается, предсказаны события 11 сентября, Капитолий таранит только один самолет (правда, управляемый японцем-камикадзе из членов экипажа, а не из пассажиров).