Российская Академия Наук

• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение.

• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).

• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

• Некая последовательная или параллельная комбинация названных способов.

Медленный старт и борьба разных ИИ между собой

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.

Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.

Плавный переход. Превращение государства в ИИ

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом, а ранее Гоббсом. Есть также интересная теории Лазарчука и Лелика о «Големах» и «Левиафанах» - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.

Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.