Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Хотя в настоящее время явно наметилось общее движение к международным переговорам о поисках формы запрета роботов-убийц, до сих пор неясно, каким он будет и, несмотря на довольно оживленную дискуссию, каким он должен быть. Хотя основные участники согласны, что мировые державы должны выработать какой-то проект международных правил относительно ведения исследований в области автономных систем оружия и относительно его возможного применения, у них гораздо меньше согласия в том, что именно должно быть запрещено и каким образом этот запрет должен обеспечиваться. Например, только ли летальное автономное оружие следует запрещать, или такой запрет должен касаться и тех его видов, которые серьезно угрожают здоровью людей, — скажем, ослепляя их? Запрещать надо разработку, производство или владение? Запрет должен касаться всех видов автономных систем оружия или, как сказано в нашем письме, только наступательных, не распространяясь на оборонительные системы — автономные зенитные орудия и комплексы противоракетной обороны в числе прочего? В последнем случае следует ли автономную систему оружия (АСО) считать оборонительной, даже если она легко выдвигается на вражескую территорию? И как добиваться соблюдения договора, если большинство компонентов автономного оружия допускает двойное использование, включая гражданское? Например, нет большой разницы между дроном, доставляющим бандероли от Amazon, и дроном, доставляющим бомбы.

Некоторые участники дебатов утверждают, что разработка эффективного договора по АСО безнадежно сложна и поэтому не стоит даже и пытаться. Но ведь еще Джон Кеннеди подчеркивал, объявляя о начале подготовки полета на Луну, что есть смысл приниматься даже за безнадежные дела, если их успех может принести большую пользу человечеству в будущем. Более того, многие эксперты утверждают, что запрет на биологическое и химическое оружие был ценен, даже несмотря на то, что добиться его соблюдения оказалось трудно, случаи обмана часты, но принятие запрета вызвало крайнюю нетерпимость, ограничивающую применение этих видов оружия.

Я встретил Генри Киссинджера на официальном ужине в 2016 году, и у меня появилась возможность спросить у него о его роли в запрете биологического оружия. Он рассказал, как, будучи советником по национальной безопасности США, убедил президента Никсона, что запрет будет полезен для национальной безопасности страны. На меня произвели большое впечатление и острый ум, и безупречная память этого девяностодвухлетнего человека, и мне было интересно узнать, как это событие воспринималось изнутри власти. Поскольку Соединенные Штаты уже обладали статусом сверхдержавы благодаря состоянию своих обычных и ядерных вооружений, они скорее бы проигрывали, чем что-либо приобретали в результате всемирной гонки биологических вооружений, результат которых был непредсказуем. Одним словом, если ты и так уже хозяин положения, то имеет смысл следовать максиме «пока не болит живот, не давай его трогать». После ужина к нашему разговору присоединился Стюарт Рассел, и мы обсуждали, как тот же аргумент можно использовать в отношении летального автономного оружия: больше всех выиграют от такой гонки вооружений не сверхдержавы, а мелкие государства-изгои или негосударственные субъекты типа террористов, которые получат доступ к такому оружию через черные рынки, после того как оно будет разработано.

Будучи запущены в серийное производство, небольшие дроны-убийцы, снабженные искусственным интеллектом, могут стоить немногим больше смартфона. Будь то террорист, жаждущий убить известного политика, или обманутый любовник, ищущий отмщения своей бывшей, — всё, что ему нужно сделать, это загрузить фотографию и адрес объекта преследования в память дрона: тот отправится к месту назначения, идентифицирует и уничтожит нужного человека, а после этого самоликвидируется, чтобы никто не узнал, кто стоит за случившимся. Другой вариант — для тех, кто планирует этническую чистку: дрон легко запрограммировать на убийство людей с определенным цветом кожи или другим характерным этническом признаком. По предположениям Стюарта, чем умнее будет такой вид оружия, тем меньше материала пойдет на его изготовление, тем меньшая ему понадобится огневая мощь и тем дешевле окажется каждое убийство. Например, это может быть — представим себе такую страшную картину — дрон размером со шмеля, с минимальным количеством пороха и стреляющий жертве в глаз, достаточно мягкий для проникновения даже небольшого снаряда, уходящего оттуда в мозг. Или дроны могут вцепляться в голову металлическими когтями, проникающими в череп и закладывающими туда крошечные кумулятивные заряды. Если миллион таких дронов-убийц разлетится из кузова единственного грузовика, мы получим ужасающий эффект оружия массового уничтожения совершенно нового типа, а именно: убивающего выборочно только людей определенной категории и оставляющего все остальное невредимым.