Российская Академия Наук

Чем малопонятнее новые технологии, тем они автономнее от общественного контроля. Люди могут участвовать в опасных процессах, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в «Сумме технологий», где ИИ используется в качестве советчика по управлению государством. Разумеется, все советы, которые кажутся вредными, отклоняются. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело через много лет и несколько промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели баланса природных ресурсов, которые были поставлены перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.

Дрекслер так описывает этот риск: «Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными", потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии, не нуждающейся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения» .

Общие модели поведения систем на грани устойчивости

Г.Г. Малинецким обнаружены общие признаки поведения кривых, описывающие различные системы перед катастрофой. Они состоят в том, что некий параметр быстро растёт, в то время как скорость его колебаний вокруг среднего значения возрастает. Можно объяснить это так: по мере того, как система становится критичной, отдельные сбои в ней оказываются всё ближе друг к другу, и между ними начинают всё чаще возникать цепочки связи, маленькие лавины. От этого параметры системы начинают «дергаться». Однако инерция гомеостаза системы пока ещё достаточно сильна, чтобы удерживать её в оптимальный параметрах. Появление всё новых и новых технологий и реализация разных сценарных факторов увеличивает число кирпичиков, из которых может сложиться опасный процесс, причём увеличивает нелинейно, а в степени, пропорциональной длине опасной цепочки.

Поэтому можно предположить, что признаком приближения глобальной катастрофы может быть увеличение числа несвязанных друг с другом катастроф и опасных процессов, каждый из которых будет завершаться относительно благополучно. (Но это совершенно не обязательный признак: катастрофа может наступить и совершенно внезапно; кроме того, есть такой признак, как «затишье перед бурей», подтверждённый на примере землетрясений, когда система перестаёт выдавать сбои в течение неожиданно большого времени. Впрочем, само «затишье» тоже является скачком параметра. Скачки могут быть не только в сторону ухудшения, но и в сторону внезапного улучшения. Так, иногда больные лучше чувствуют себя перед смертью, а фондовый рынок растёт перед рецессией.) В экономике одним из признаков наступающей рецессии является противоречивость параметров, что указывает на то, что система выходит из нормального и предсказуемого режима работы. И возможно, что система вышла из управляемого состояния, но ещё находится в пределах своих параметров – так самолёт, потерявший управление, ещё некоторое время летит в своём воздушном коридоре.

Состояние непредсказуемости и изменчивости, предшествующее катастрофе, и, в частности, проявляющееся в скачках параметров, является нарастающим состоянием хаоса (то есть сверхсложного многопараметрического состояния), в котором отдельные обстоятельства могут определить её будущее. Появление такого состояния в мире было бы опасным сигналом, однако пока что я его не вижу. Историческим примером такого состояния можно назвать резкий рост природных и техногенных аварий перед началом распада СССР (Чернобыль, «Нахимов», Спитак, взрыв газа с двумя поездами), который затем распространился и на социальные проявления (Карабах, Сумгаит, Ферганская долина).

Закон техногуманитарного баланса