Российская Академия Наук

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» – см. далее.

Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвуют в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (но японцы приучены менять сотовые телефоны и одежду каждые три месяца), хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

Цели создания оружия судного дня.

Опасный фактор глобальной катастрофы может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества.