Война и еще 25 сценариев конца света

(В более общем случае это известно как теория нормальных аварий Перроу которая гласит, что катастрофы являются естественным свойством сложных систем и не могут быть устранены за счет совершенных деталей или инструкций. Связано это с тем, что сложность системы растет не линейно в зависимости от числа элементов, а по степенному закону, и в силу этого система с большим количеством элементов имеет невычислимо много внутренних состояний, а потому представляется невозможным протестировать все состояния системы на безопасность и какая-то их доля неизбежно оказываются опасными. Например, сложность является препятствием на пути создания современных процессоров и операционных систем, которые неизбежно содержат уязвимые места и ошибки, обнаруживающиеся только во время эксплуатации.)

Поскольку ИИ будет еще более сложной системой, то в этом случае он может содержать еще больше ошибок. Разумеется, мы надеемся, что за счет своего интеллекта он будет способен к самооптимизации и с помощью очень мощных алгоритмов резко снизит в себе число ошибок, но все же мы не можем быть до конца уверенными в его окончательной безошибочности. Особенно опасна ошибка в ИИ, которая проявится на позднем этапе его развития, когда он уже станет фактической автоматизированной системой управления всеми техническими устройствами на Земле. Она может проявиться как одновременный внезапный сбой всех технических устройств.

Другая опасность, связанная с сильным ИИ, состоит в том, что как только он появится, все люди могут считать себя безработными. Об этом писал один из основателей SUN Microsystems Билл Джой в своей известной статье «Почему мы не нужны будущему». ИИ сможет не только организовать полностью безлюдное производство всех материальных ценностей, но он сможет превзойти людей в любом виде интеллектуальной деятельности: от написания статей и стихов до актерской игры. Уже сейчас голливудские актеры чувствуют угрозу со стороны своих анимированных копий, и лет через 20 она станет вполне реальной. Вероятно, труднее всего будет заменить человека в сфере услуг, поскольку человеку нравится получать услуги именно от других людей. В частности «древнейшая профессия» рискует стать и единственной выжившей профессией. Хотя человекообразные роботы могут оказаться более интересными партнерами для секса и даже для общения.

Ранней формой эффекта вытеснения реального общения компьютерным можно считать интернет-зависимость, широко распространенную в наши дни. Вероятно, для дружественного ИИ не составит труда придумать занятие по душе для каждого человека, а также массу развлечений для всех. Однако мыслящим людям придется жить с тяжелым чувством, что все, что они делают, бессмысленно, поскольку роботы могли бы это сделать лучше. В этом случае человечество окажется придатком новой компьютерной цивилизации, который та унаследовала, но который фактически вышел на пенсию. (Что ж, большинство людей тоже выбирают заботу о своих престарелых родителях.)

Совершенствование технологий может принципиально снизить стоимость и упростить создание вирусов и других организмов, смертельных или опасных для людей. Когда десятки тысяч человек будут иметь доступ к инструменту создания оружия массового поражения, вероятность того, что некоторые станут этот инструмент применять, будет весьма значительной. Наиболее страшным сценарием представляется появление «биохакеров», вооруженных своего рода «биопринтером» – мини-лабораторией, подключенной к компьютеру и способной порождать живые клетки с заданными свойствами. В среде человеческого обитания одновременно могут появиться тысячи разных вирусов, бактерий, микоплазм и прочих смертельных патогенов.