2062: время машин

В некотором смысле автономные системы вооружения даже опаснее, чем атомное оружие. Для создания атомной бомбы требуется серьезная научная работа. Требуются также государственные ресурсы и доступ к делящимся материалам. Нужны образованные физики и инженеры. Из-за этой требовательности ядерное оружие не получило широкого распространения. Автономные системы вооружения ничего подобного не требуют. Нужно просто взять небольшой дрон и запрограммировать нейросеть внутри него на поиск, отслеживание и нападение на любого человека. Программное обеспечение для распознавания лиц сейчас можно найти во многих смартфонах. После этого снабдите дрон парой граммов мощной взрывчатки. Благодаря совмещению нескольких уже существующих технологий вы получите простое, недорогое и очень смертельное автономное оружие.

Если провезти грузовик с десятью тысячами таких дронов в Нью-Йорк, можно организовать атаку не менее масштабную, чем одиннадцатого сентября. Не нужно даже, чтобы оружие было точным. Даже если только один из ваших дронов сработает, вы сможете убить тысячу человек за несколько минут. Если сработает половина, вы мгновенно убьете около пяти тысяч человек[59].

Построить такое оружие гораздо проще, чем создать автономный автомобиль. Процент надежности в 99,9 % будет неприемлем для автомобиля, но более чем достаточен для дрона-убийцы. Учитывая, что многие автопроизводители предрекают появление таких машин в 2025 году, вполне можно ожидать создания дронов-убийц через несколько лет.

Орудия террора

Автономные системы вооружения станут орудиями террора. Можете себе представить, насколько это страшно, когда вас преследует рой автономных дронов? Они попадут в руки террористов и государств-изгоев, людей, которые не побрезгуют использовать их против мирного населения. Смертоносное автономное оружие станет идеальным средством для подавления воли гражданского населения. В отличие от людей, автономные системы вооружения могут не задумываясь творить зверства и совершать геноцид.

Есть люди, которые считают, что использовать роботов этичнее, чем людей. Это, на мой взгляд, один из самых интересных и спорных аргументов в защиту автономных систем вооружения. Однако такие люди не учитывают факт, что мы до сих пор не знаем, как создать автономные системы вооружения, которые соблюдали бы международное гуманитарное право. Законы требуют того, чтобы во время войны под угрозой могли быть только солдаты, а не мирные жители, требуют поступать соразмерно с угрозой, принимать и уважать сдавшихся в плен или тех, кто не может продолжать воевать из-за ранения. Мы все еще не знаем, как создать автономные системы вооружения, способные различать подобные вещи.

Я предполагаю, что к 2062 году мы научимся создавать этичных роботов. Наша жизнь будет окружена автономными устройствами, которые должны соблюдать этические нормы. Так что, вероятно, мы однажды изобретем смертоносное автономное оружие, которое может следовать международному гуманитарному праву. Однако мы не сможем предотвратит угрозу его взлома и использования в неэтичных целях. Если можно получить физический доступ к компьютеру, значит, его можно взломать. Есть множество плохих людей, которые в состоянии преодолеть защиту, возведенную вокруг такого оружия.

Забавно, что некоторые страны – включая Великобританию – выступают против запрета САО именно по той причине, что они нарушают международное гуманитарное право. Они утверждают, что для регулирования этого оружия не нужны новые законы. История показывает, что этот аргумент несостоятелен. Химическое оружие нарушает международное гуманитарное право, в частности Женевский протокол 1925 года. Однако в 1993 году вступила в силу Конвенция о запрещении химического оружия, и такое вооружение стали контролировать намного строже. Конвенция была подписана и ратифицирована Великобританией, страной, которая теперь утверждает, что международное гуманитарное право способно регулировать оружие вроде САО.

Конвенция о запрещении химического оружия укрепила международное право в плане запретов на использование любых химикатов в вооружении. Она положила начало Организации по запрещению химического оружия – межправительственному органу, который базируется в Гааге и отслеживает разработку, изготовление, хранение и использование химического оружия. Сегодня около девяноста процентов задекларированного мирового запаса химического оружия уничтожено. Запрет на оружие может положительно влиять на нашу безопасность.

Ошибающееся оружие

Кроме того, что такое оружие может стать орудием террора, оно еще может ошибаться. С технической точки зрения поле боя – последнее место, где мы хотели бы видеть роботов.