Война и еще 25 сценариев конца света

Мощность искусственного интеллекта может начать лавинообразно расти. В частности, за счет того, что он может прямо или косвенно способствовать своему росту или использоваться для этого. ИИ может создать собственную производственную инфраструктуру, то есть механизмы влияния на мир. Для ИИ не составит труда взять под свой контроль любые управляемые компьютером системы (в том числе государственные системы управления) и весь Интернет. Хотя кажется, что ИИ легко контролировать, на самом деле эта задача почти нереализуема. Наиболее страшный вариант состоит в том, что ИИ начнет реализовывать некую задачу, в которой о безопасности человечества ничего не сказано. Для исследователей, создавших сильный ИИ, будет понятно, что они создали абсолютное оружие – они окажутся в руках логического парадокса, который будет побуждать их использовать ИИ как инструмент для захвата власти в мире.

Искусственный интеллект будет включать много факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Самым сильным возможным сверхнаркотиком будет тот, который не просто даст наслаждение, но даст новый смысл жизни, или, во всяком случае, его иллюзию. В результате человечество как целое перестанет существовать, субъекты, ушедшие из реальности и наслаждающиеся виртуальным, ничего не возвращая взамен, окажутся бесполезным наростом на системе, от которого она избавится при ближайшем кризисе. Это – один из возможных вариантов всеобщего вымирания. Вероятны следующие типы супернаркотика: прямое воздействие на центры удовольствия в мозге; химические вещества с заранее заданными свойствами; имплантация ГМ организмов; особый род виртуальной реальности и т. п.

Перспективы быть вытесненными на обочину истории, где единственным развлечением людей будет интерактивное супертелевидение, не могут радовать. Альтернативой этому видится совместная эволюция человека и компьютерного разума, то есть их симбиоз, и превращение людей в пост-людей. Такой сценарий активно пропагандируется философией «трансгуманизма». Более мягкой формой трансгуманизма является борьба за увеличение продолжительности жизни, крионика, повышение эффективности мозга, развитие протезирования и борьба со старением.