Российская Академия Наук

Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня. Иначе можно сказать так:

Малый системный кризис – вовлекает только политику, ресурсы и экономику

Малый системный технологический кризис – вовлекает развитие одних технологий из других и сложные технологические катастрофы.

Большой системный кризис – в нём оба малых кризиса являются только его частями, плюс взаимодействие составляющих элементов друг с другом. Пример такого кризиса: Вторая мировая война.

Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы

Это утверждение опирается на следующие посылки, которые мы по отдельности обсудили в предыдущих главах.

a. Большинство крупных технологических катастроф, начиная с Титаника, носили системный характер, то есть не имели какой-то одной причины, а возникали как проявления сложности системы в виде маловероятного непредсказуемого стечения обстоятельств с разных планов: проектирования, управления, систематических нарушений инструкций, интеллектуальной слепоты и сверхуверенности, технических отказов и маловероятных стечений обстоятельств.

b. За счёт NBIC конвергенции и за счёт одновременности исчерпания взаимозаменяемых ресурсов мы получаем тот эффект, что все критические обстоятельства подтягиваются к одной дате, и дата эта – в районе 2030 года.

c. Обвал технологической цивилизации, начавшись даже с небольшой катастрофы, может принять форму устойчивого процесса, где одна катастрофа запускает другую, при этом в каждый момент времени силы разрушения превосходят сохранившиеся силы созидания. Это происходит по причине того, что раньше огромное количество сил разрушения сдерживалось, а затем они все одновременно высвободятся (исчерпание ресурсов, заражение среды опасными биоагентами, глобальное потепление). Эта способность одной катастрофы запускать другую связана с высокой концентрацией разных потенциально смертельных для человечества технологий – подобном тому, как где бы ни начался пожар на корабле, где очень много пороха, в конечном счёте взорвётся весь корабль. Другая метафора – если человек убегает от лавины, он должен бежать со всё большей скоростью, и всё меньшая задержка требуется, чтобы он попал от под всё большей силы лавину. Третья метафора – перекристаллизация некого вещества с несколькими фазовыми состояниями в районе фазового перехода. Эта метафора означает быструю и принципиальную перестройку всей цивилизации, связанную с возникновением мощного ИИ.

d. По мере нарастания сложности нашей цивилизации нарастает вероятность внезапных непредсказуемых переходов в иное состояние в духе теории хаоса, и одновременно нарастает наша неспособность предсказывать своё будущее и предвидеть последствия своих действий.

5. Криптовойны, гонка вооружений и другие сценарные факторы, повышающие вероятность глобвльной катастрофы

Криптовойна

Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С. Лема ). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного (то есть безнаказанного) удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире: