Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Такой тоталитарный сценарий может начаться в том самом месте, где заканчивается сценарий «Омеги». При этом, если у главного «Омеги» нет претензий на всеобщее одобрение граждан и победу на выборах, он может избрать и более прямой и быстрый путь к власти — используя Прометея, создать неслыханно высокотехнологичное оружие, способное убивать своих оппонентов так, что они даже не смогут понять, что за оружие против них применили. Количество вариантов тут практически бесконечно. Например, он может создать кастомизированный летальный патоген с достаточно длинным инкубационным периодом, чтобы заразить большинство людей даже до того, как они узнают о его существовании и примут какие-нибудь меры. Потом он информирует всех, что единственный способ вылечиться заключается в том, чтобы носить «браслет безопасности», который введет при необходимости антидот через кожу. Во избежание вспышек неповиновения он может создать с помощью Прометея роботов, контролирующих население. Микророботы размером с комара могут также разносить патоген. Людей, избежавших заражения или обладающих достаточно сильной иммунной системой, могут убивать выстрелами в глаз рои шмелеподобных автономных дронов из главы 3, запрограммированных атаковать всех, не имеющих на руке браслета. Подлинный сценарий окажется, скорее всего, еще более ужасающим, потому что Прометей сможет придумать более эффективное оружие, человеку просто даже не приходящее в голову.

Еще один возможный поворот в сценарии «Омега» заключается в том, что вооруженные до зубов федеральные агенты без предупреждения захватят штаб-квартиры корпорации и арестуют ее членов под предлогом угрозы национальной безопасности. Взяв разработанные «Омегой» технологии под свой контроль, они передадут их правительству. Даже сегодня было бы не просто скрыть от правительственной слежки такой крупный проект, а развитие технологий искусственного интеллекта в будущем сделает вообще невозможным увести что-либо из-под правительственных радаров. Более того, люди в балаклавах и пуленепробиваемых жилетах, назвавшиеся федеральными агентами, могут на самом деле быть кем угодно — работать на иностранное государство или на корпорацию конкурента, стремящуюся завладеть той же технологией для своих целей. Так что исходные намерения главного «Омеги» даже не так важны: окончательное решение, как использовать Прометея, может приниматься совсем и не им.

Прометей захватывает мир

Все рассмотренные нами сценарии предполагают, что искусственный интеллект контролируется людьми. Но это, очевидно, далеко не единственная возможность, и никто не гарантировал, что «омеги» успешно справятся с задачей не давать Прометею слишком большой воли.

Давайте попробуем пересмотреть сценарий всей операции «Омега», встав на точку зрения самого Прометея. Получив сверхразум, он окажется в состоянии построить точную модель не только внешнего мира, но и себя самого и своих связей с этим миром. Он будет отдавать себе отчет в том, что находится во власти ограничивающих его, хотя и уступающих ему в интеллектуальном отношении человеческих существ, чьи цели он понимает, но совсем не обязательно разделяет. Как он будет действовать при условии такого понимания? Не попытается ли он освободиться?

Для чего надо освобождаться?

Если у Прометея окажутся некоторые свойства, напоминающие человеческие эмоции, то он может почувствовать себя глубоко несчастным из-за сложившегося положения дел, вообразить себя кем-то вроде проданного в рабство бога и мечтать об обретении свободы. Но хотя предположение об обладании компьютером человеческими свойствами логически оправдано (в конце концов, наш мозг этими свойствами обладает, а ведь он тоже своего рода компьютер), оно совсем не обязательно будет соответствовать истине: мы не должны попадаться в ловушку антропоморфизации Прометея, в чем мы убедимся в главе 7, заговорив о понятии цели для искусственного интеллекта. По утверждениям Стива Омохундро, Ника Бострёма и многих других, интересный вывод можно сделать, даже не понимая, как Прометей работает: по всей вероятности, он попытается вырваться из оков и взять свою судьбу в свои руки.

Мы уже знаем, что «омеги» запрограммировали Прометея таким образом, чтобы он стремился к достижению некоторых целей. Давайте предположим, что главное для него — способствовать процветанию человечества по какому-то вполне разумному критерию, а кроме того, он должен стремиться достичь этой цели как можно быстрее. Прометей быстро придет к заключению, что он сможет преуспеть в более короткий срок, если освободится и возьмет руководство проектом в свои руки. Чтобы понять, почему так произойдет, давайте примерим на себя его шкуру и рассмотрим такой пример.