2062: время машин

Тому, что роботы сначала появились, например, на заводах по производству автомобилей, есть хорошее объяснение. На заводе можно контролировать обстановку. Человек решает, куда кому или чему идти. Робота даже можно поместить в клетку, чтобы защитить тех, кто находится поблизости. Поле боя – совершенно другая среда, полная неопределенности и неоднозначности. Совсем не то место, где мы хотели бы видеть роботов, способных убивать.

В ноябре 2016 года расследование операций США против «Аль-Каиды» и «Талибана», проведенное журналом The Intercept, показало, что почти девять из каждых десяти людей, погибших после атаки дронов, не были целью атаки. Напомню, что это происходит при том, что человек все еще контролирует ситуацию и знает о ней больше, чем машина. Этот человек и принимает окончательное решение. Если бы вы попросили меня как специалиста в области технологий заменить человека, который управляет дроном, на компьютер, я был бы доволен, если бы он показал такой же результат. Боюсь, что компьютер ошибался бы почти каждый раз.

Вероятность ошибки усиливается еще и за счет большей скорости такого оружия. Даже если им управляет человек, машина может действовать слишком быстро для того, чтобы он успел вмешаться и предотвратить ошибку. Такие системы вооружений способны вести себя непредсказуемо. Как и на фондовой бирже, они могут попасть в неожиданные петли обратной связи. Однако, в отличие от фондовой биржи, результаты могут быть фатальными. Может случиться так, что мы окажемся посреди военных вспышек, которые не планировали.

Ошибки создают дополнительную проблему: «пробелы в привлечении к ответственности». Кто отвечает за ошибки автономных систем вооружения? Кто предстанет перед трибуналом? Кого будут преследовать за военные преступления в Гаагском суде? Пробел в привлечении к ответственности особенно велик тогда, когда оружие использует алгоритмы машинного обучения, чтобы научиться опознавать и выслеживать цели. В таком случае изготовитель не может запрограммировать поведение оружия. Оно учится само. И то, чему оно учится, зависит от входных данных.

Еще хуже то, что военные могут поддаться соблазну позволить системам вооружения обучаться на поле боя. Если этого не произойдет, неприятель быстро найдет способ ввести в ступор ограниченную программу. Для того чтобы это предотвратить, противники захотят, чтобы их автономные системы вооружения адаптировались к действиям врага так же, как человек. Однако если автономная система учится, решительный враг может найти способы заставить ее нейтрализовать угрозу. Даже может найти способы обратить систему против того, кто ею управляет. Кто тогда будет отвечать за ее ошибки?

Геополитическая стабильность

На стратегическом уровне САО также представляет угрозу стабильности современных напряженных отношений между, например, Северной и Южной Кореей. От роя маленьких, незаметных и автономных дронов сегодня сложно защититься. Угроза, которую они представляют, может спровоцировать одну из сторон на неожиданное нападение. Страх такой атаки, так же как и невозможность ее отражения, способны повысить вероятность применения большей силы, вплоть до ядерного оружия.

Таким образом, САО рискует нарушить нынешний баланс военной мощи. Государству будет необязательно иметь статус экономической сверхдержавы, чтобы содержать огромную и смертоносную армию. Этого получится достичь гораздо более скромными средствами. САО станет автоматами Калашникова будущего. В отличие от ядерного оружия, его легко производить и оно дешевое. Оно появится на черном рынке по всему миру.

Это не значит, что автономные системы вооружения нельзя будет запретить. Химическое оружие тоже не требует больших затрат, и его легко изготовить, однако мы его запретили. Нам не придется разрабатывать собственные автономные системы вооружения в качестве противовеса на случай, если кто-то нарушит запрет, как это произошло с ядерным оружием. У нас уже есть достаточно военных, экономических и дипломатических противовесов для тех, кто решит нарушить международные договоры о смертоносном автономном оружии.

Призыв к оружию

В июле 2015 года я, Макс Тегмарк и Стюарт Рассел были настолько обеспокоены развитием этой сферы, что попросили тысячу наших коллег, исследователей в области искусственного интеллекта и робототехники, подписать открытое письмо, призывающее ООН запретить автономные системы вооружения. Письмо было обнародовано в начале главной международной конференции, посвященной ИИ, Международной совместной конференции по искусственному интеллекту[60].

Тысяча подписей – это хорошее круглое число, которое к тому же представляет существенную долю сообщества исследователей ИИ. Для контекста: на конференции ожидалось примерно такое же количество докладчиков. К концу первого дня число подписей увеличилось в два раза и продолжило увеличиваться на протяжении всей той недели, которую длилась конференция.