Принцип апокалипсиса: сценарии конца света

Когда мощный искусственный интеллект (ИИ) возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своего рода «дружественных» или, скорее, вассальных отношений с ним, а также системой распознавания «свой-чужой». Сбой в этой системе целей приведет к тому, что данный экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счете, способно привести к войне между версиями одного ИИ.

А. Турчин. Структура глобальной катастрофы

Некоторые кибернетики и робототехники считают, что риск начала технологического апокалипсиса резко возрастет уже в ближайшие десятилетия. Самым слабым звеном тут могут стать устройства, связанные разветвленными сенсорными линиями. Скорость обмена данными у подобных наноботов невелика, что позволяет обеспечить низкое энергопотребление от автономных источников и беспрецедентную гибкость их систем-роев.

По мнению тех же экспертов DARPA, по мере того как концепция нанокиберов будет получать все более широкое распространение, производители станут оснащать датчиками буквально каждую деталь, устройство и каждое помещение, что откроет возможность контроля и управления за широким спектром технологических процессов. Есть тут и инновационные пути решения продовольственной проблемы путем развертывания гидропонных хозяйств с датчиками влажности и кислотности буквально у каждого растения.

Вообще же, перспективы рационального использования сенсорных сетей весьма велики – от сельского хозяйства до полноценных систем экологического контроля, включая глобальный мониторинг атмосферы и гидросферы на предмет радиации и ядовитых веществ. Недалеко будущее, когда сенсорами будет оборудовано вся городская инфраструктура – от зданий и сооружений до общественного транспорта и самого тела человека. И все это, так или иначе, может привести к коллапсу технологической сингулярности…

Можно ли эффективно бороться с наступающим кризисом?

На первый взгляд, борьба с Интернетом, сверхсекретными проектами ВПК, кибернетическими нанотехнологиями и нейрокомпьютеризацией кажется совершенно бесперспективной. Между тем противники самой идеи кибернетического апокалипсиса вполне справедливо считают, что пока еще не видно ни одного реального пути создания искусственного сверхразума. Без этого главного компонента технологический коллапс может перенестись чуть ли не на конец текущего столетия, а может быть, и следующего. Фактически это означает, что эволюция искусственного интеллекта пойдет по какому-нибудь иному пути – скажем, киборгенизации и нейрокомпьютеризации.

Лекарство от информационной отсталости

Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают «угрозу» и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество – экономическое, военное, даже в сфере искусства – любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

В. Виндж. Грядущая технологическая сингулярность