Роботы-убийцы против человечества

38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч»[15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.

39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения»[16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».

40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.

41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.

42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.

43. Термины «автономия» и «автономный», как они используются в контексте робототехники, могут вводить в заблуждение. Они не имеют ничего общего со «свободной волей» или «нравственностью», как эти понятия используются в процессе принятия решений людьми. Более того, хотя соответствующие технологии развиваются экспонентным образом, и полная автономия непременно будет означать через 10 лет все меньшую вовлеченность человека по сравнению с сегодняшним днем, о разумных роботах, или мощном искусственном интеллекте, в настоящее время говорить не прихо-дится[17].

2. Современная технология

44. Технология в некоторых отношениях сегодня, возможно, не так развита, как об этом бытуют представления в массовой культуре, в которой роботы нередко наделяются свойствами, аналогичными человеческим, что может создать соблазн у международного сообщества ошибочно полагаться на их способности. Однако следует также напомнить о том, что в некоторых отношениях технология по своим возможностям может значительно превосходить способности человека. Технология развивается экспонентно, и невозможно с уверенностью предсказать будущее. Вследствие этого почти невозможно определить, насколько близко мы подошли к тому моменту, когда будут созданы полностью автономные роботы, готовые к применению.

45. Хотя разработки полностью автономных боевых роботов ведутся в основном под покровом секретности, такие роботы пока не были приняты на вооружение. Вместе с тем роботизированные системы с различной степенью автономности и смертоносной силы в настоящее время уже используются, в частности следующие:

• Американская система «Фаланкс» для эсминцев класса «Эгис» автоматически обнаруживает, сопровождает и перехватывает угрозы ударов с воздуха, такие, как противокорабельные ракеты и самолеты[18].

• Американская система лазерной обороны от ракетного, артиллерийского и минометного обстрела (С-RAAM) может в автоматическом режиме уничтожать летящие ракеты, снаряды и мины[19].

• Израильский беспилотник «Гарпия» является неуправляемой автономной оружейной системой, предназначенной для обнаружения и уничтожения радаров противника[20].