2062: время машин

В связи с недавним избранием Австралии в Совет по правам человека ООН проблема смертоносного автономного оружия стоит для нее наиболее остро. Автономные системы вооружения – проблема, связанная с правами человека. Специальный докладчик для Совета по правам человека, профессор Кристоф Хейнс, был первым, кто поднял в ООН проблему автономных систем вооружения, когда в 2013 году заявил, что машины никогда не должны иметь власть над жизнью и смертью людей[63].

Сообщество исследователей ИИ и робототехники посылало ясные и четкие сигналы относительно САО на протяжении последних нескольких лет. Мы предупреждали о гонке вооружений, и теперь видим ее начало. Мы также предупреждали о серьезных технических, юридических и моральных рисках, связанных с наличием автономных систем вооружения на поле боя. Так же, как и с изменениями климата, в научном сообществе есть несогласные. Некоторые говорят, что нужен не запрет, а мораторий. Однако абсолютное большинство предупреждает об опасности и призывает к упреждающему запрету.

Альтернативные меры

Позиция Великобритании заключается в том, что автономные системы вооружения нарушают существующее международное гуманитарное право и что Британия не станет разрабатывать такое оружие, а новые договоры для решения этой проблемы не нужны. В первом утверждении есть определенная доля истины. Однако никаких гарантий исполнения второго утверждения у нас нет. В прошлом даже Великобритания тайно разрабатывала химическое и биологическое оружие. История же имеет свои возражения против третьего утверждения. Новые технологии каждый раз требовали усиления международного гуманитарного права на протяжении всего прошлого века.

Основная альтернатива запрету, которую предлагает Великобритания, – это так называемые проверки оружия по статье 36. Статья 36 Дополнительного протокола I 1977 года Женевской конвенции требует от государства оценивать новое оружие, новые средства и методы ведения войны, чтобы удостовериться, что они соответствуют международному гуманитарному праву. Великобритания проводит подобные проверки каждой новой системы вооружения.

По моему мнению, проверки по статье 36 – неудовлетворительная альтернатива по нескольким причинам. Во-первых, нет никаких общепринятых стандартов оценки. Как мы можем быть уверены, что Россия (не совсем случайный выбор страны) так же основательно подходит к этому вопросу, как и Великобритания? Во-вторых, не было ни одного примера того, как система вооружения провалила проверки по статье 36. Это вряд ли означает, что проверки успешно не дают технологиям просочиться на поле боя. В-третьих, только несколько стран на сегодняшний день проводят такие проверки – те страны, которые обязаны публиковать их результаты.

Как избежать такого будущего

В решении этой проблемы мы находимся на распутье. Мы можем выбрать бездействие и позволить оружейным компаниям разрабатывать и продавать смертоносное автономное оружие. Это грозит нам большими неприятностями. Или мы можем не молчать и призвать ООН к тому, чтобы принять меры.

Академическое сообщество сказало свое веское слово. То же самое сделала и промышленность. По моему опыту обсуждения этой проблемы, большинство людей также поддерживают запрет. Опрос Ipsos 2017 года в двадцати трех странах показал, что в большинстве из них люди склоняются к неприятию автономных систем вооружения.

Прежде чем принять меры против большей части оружия прошлого, мы сначала должны были испытать его действие. Нам пришлось сперва наблюдать ужасные последствия применения химического оружия в Первой мировой войне, прежде чем мы предприняли необходимые шаги и составили Женевский протокол 1925 года. Нам пришлось столкнуться с ужасами Хиросимы и Нагасаки, а также несколькими острыми ситуациями в течение холодной войны, прежде чем мы запретили ядерное оружие[64]. Мы имеем только один пример упреждающего запрета – запрет ослепляющих лазеров.

Боюсь, нам снова предстоит увидеть кошмарный эффект от применения нового оружия – на сей раз смертоносных автономных систем, прежде чем мы осмелимся их запретить. Что бы ни случилось, к 2062 году делегирование машине решения о жизни и смерти человека должно быть морально неприемлемым. Тогда мы, может быть, избавим себя от ужасной участи.

6. Конец наших ценностей

Автономные системы вооружения – пример того, как технологические изменения могут угрожать фундаментальным человеческим ценностям, на которых держится наше общество. Мы понимаем, что люди разделяют некоторые естественные права, такие как право на свободу мысли, совести и религии. Мы поддерживаем больных и пожилых людей. Мы уверены в том, что каждый должен получить свой справедливый шанс. Что к мужчинам и женщинам нужно относиться одинаково. Что раса и религия не могут быть основанием для вынесения суждений о конкретном человеке.