2062: время машин

Один из наиболее весомых аргументов – роботы будут вести себя этичнее солдат. Однако, как я уже отмечал, мы все еще не умеем создавать моральных роботов. Нам неизвестно, будет ли ИИ когда-нибудь обладать состраданием и эмпатией, необходимыми для этичного поведения. Даже если предположить, что мы сможем создать таких роботов, нам придется придумать, как сделать так, чтобы их нельзя было взломать.

Другое возражение состоит в том, что использование роботов позволит не подвергать опасности солдат. Некоторые даже утверждают, что в таком случае использование роботов – наша моральная обязанность. Самая главная проблема этого аргумента – он не учитывает тех, против кого используются роботы-убийцы. Скорость, с которой можно будет победить неприятеля, вырастет из-за использования САО, а потому война станет более доступным методом. В конце концов это приведет к еще большему количеству смертей. Мы не можем учитывать только собственные потери.

Третье возражение заключается в том, что невозможно определить значение словосочетания «автономные системы вооружения». Следовательно, как можно запретить то, что мы не можем определить? Согласен, это непросто. В области изучения ИИ мы к этому привыкли. Большинство исследователей перестали пытаться определить, что такое искусственный интеллект; мы просто создаем машины, которые умеют всё больше разных вещей. Полагаю, что никакой запрет не сможет дать четкое определение автономным вооруженным системам. Он просто обозначит границу, которую нельзя переходить. Полностью автономный дрон, способный днями летать над полем боя, скорее всего, будет находиться за этой чертой. Однако международное сообщество может сойтись на том, что защитные автономные системы вооружения, такие как система противоракетной обороны Phalanx, могут быть разрешены. С появлением новых технологий вопрос об их легальности снова пересмотрят.

Четвертое возражение – новые военные технологии сделали мир безопаснее и сократили количество насилия, а потому автономные системные вооружения стоит принять. Подобные аргументы выдвигает, например, Стивен Пинкер в своей книге «Добрые ангелы человеческой природы»[61]. Пинкер убедительно рассуждает о том, что в мире стало меньше насилия и геноцида, чем в любой другой период истории. Однако его рассуждения совершенно не противоречат необходимости запрета. Разрушительная сила новых технологий сдерживается только благодаря международному гуманитарному праву и новым соглашениям по оружию. К принятию Гаагской конвенции 1899 года, в которой фигурировал запрет на воздушные бомбардировки, привела именно бомбардировка Венеции с воздушных шаров в 1849 году – по общему мнению, первая воздушная бомбардировка в истории. Точно так же новые законы нужны нам для ограничения использования роботов-убийц.

В качестве пятого возражения некоторые приводят факт, что в отличие от таких технологий, как ослепляющие лазеры, здесь мы имеем дело с широкой категорией свойств, которые могут быть приложены к любому существующему оружию. Это будет похоже на запрет электричества. Более того, многие виды оружия уже сегодня обладают какой-то ограниченной формой автономии, а потому невозможно будет проверить, было ли полуавтономное оружие обновлено до следующей стадии.

Этот аргумент показывает плохое понимание того, как работают договоры об оружии. Нет никаких специальных проверок для обнаружения ослепляющих лазеров. Не существует полицейского подразделения, которое отвечает за то, чтобы компании не покупали противопехотные мины. Если происходит нарушение договора, такие общественные организации, как «Хьюман райтс вотч», их фиксируют. По всему миру выходят статьи, обличающие это нарушение. На заседаниях ООН принимают резолюции. Угроза Гаагского суда остается, хоть и маячит где-то вдалеке.

Этого хватает для того, чтобы договоры об оружии редко нарушались, чтобы оружейные компании гарантированно не продавали запрещенное оружие, чтобы оно не попадало на черный рынок или в руки террористам. Чего-то подобного можно ожидать и с автономными системами вооружения.

Первые шаги

ООН в конце 2016 года решила, что ГПЭ, учрежденная для решения этого вопроса, соберется дважды в 2017-м, в августе и ноябре, прямо перед ежегодной конференцией КНО. К сожалению, хотя дипломаты и осознали срочную необходимость обсуждения этой проблемы, августовское собрание было отменено.

ООН приняла новые правила отчетности, которые обязывают проводить каждую встречу за свой счет. Некоторые страны, например Бразилия, сильно задолжали свою часть. Насколько мне известно, Бразилия не имеет ничего против дискуссии о роботах-убийцах. Просто уже несколько лет не выплачивает свой долг. Сумма, требующаяся ООН для организации августовской встречи, составляла всего пару сотен тысяч долларов. Для того чтобы сделать мир лучше и безопаснее, эта сумма – сущие копейки, а потому я помог найти спонсора.