ИИ-2041. Десять образов нашего будущего

Следующий чрезвычайно важный вопрос — четкая линия ответственности, точное понимание, кто ответствен за ошибку автономного оружия. С солдатами на поле боя все предельно ясно, а система автономного вооружения неопределенна — точно так же, как и автомобиля-беспилотника, наехавшего на пешехода.

Но тут дело усугубляется еще и тем, что это может привести к освобождению агрессоров от ответственности за нарушение международного гуманитарного права. А это делает более вероятным развязывание реальной войны.

Другая опасность состоит в том, что автономное оружие может использовать технологии распознавания лиц или походки, отслеживания сигналов телефона либо интернета вещей. А это уже позволяет уничтожить не только одного, заранее определенного человека — это делает возможным истребление любой заданной группы людей. В рассказе «Квантовый геноцид» показано, как целенаправленно уничтожается бизнес-элита и интернет-специалисты.

Расширенная автономия без глубокого понимания метапроблем еще больше увеличит темп вооруженных конфликтов и, следовательно, масштабы ущерба и потерь, в перспективе приведет к катастрофической эскалации напряженности — вплоть до ядерной войны. ИИ, как известно, не обучен здравому смыслу и не оснащен человеческой способностью логически рассуждать, охватывая разные области, — и это его сильно ограничивает.

Как бы мы ни старались, применение автономного оружия только в одной области и с единственной целью не позволит его ИИ в полной мере осознать последствия своих действий. Вот почему в нашей истории ключевые фигуры контртеррористической операции, в которой задействован ИИ, — все-таки люди, а не роботы.

АВТОНОМНОЕ ОРУЖИЕ — ПРОБЛЕМА ЖИЗНЕННАЯ?

Многие страны, начиная с англо-германской гонки вооружений на море и заканчивая советско-американской «ядерной гонкой», стремились к военному превосходству — оно определялось как важнейший национальный приоритет. И с появлением автономного оружия данная тенденция наверняка сохранится и усугубится — ведь тут открывается столько способов «победить»! (Создать самое маленькое, самое быстрое, самое скрытное, самое смертоносное, и так далее, и тому подобное — оружие.)

Стоить такая гонка вооружений наверняка будет меньше, чем предыдущие, что спровоцирует на участие в ней. Некоторые вовсе не большие страны, располагающие, однако мощными технологиями, скажем Израиль, уже ввязались в эту гонку, создали продвинутых военных роботов, в том числе размером с муху. Словом, практически нет сомнений: как только одна страна создаст автономное оружие, любая другая, более-менее амбициозная, будет ощущать себя обязанной придумать что-нибудь поэффективнее.

К чему это приведет? Стюарт Рассел, профессор Калифорнийского университета в Беркли, говорит: «Возможности автономного вооружения будут ограничены скорее законами физики — например, ограничениями по дальности, скорости и полезной нагрузке, — нежели какими-либо недостатками ИИ-систем, им управляющими. В будущем можно ожидать появления платформ, гибкость и смертоносность которых сделают людей совершенно беззащитными».

Короче говоря, если пустить все на самотек, то многосторонняя гонка вооружений в итоге станет забегом в небытие.

Ядерное оружие, безусловно, реально опасно, но у человечества получилось взять его под контроль, более того, благодаря теории сдерживания оно даже помогло ослабить риск начала обычной войны. Согласно этой теории, наличие ядерного оружия сдерживает более мощного противника — при условии если оно не окажется выведенным из строя внезапной первой атакой.

Поскольку ядерная война ведет к гарантированному взаимному уничтожению, то любую страну, нанесшую первый ядерный удар, скорее всего, ждут ответные меры. Но в случае с автономным оружием теория сдерживания не работает — первая атака может остаться незамеченной, следовательно, не содержит угрозы гарантированного взаимного уничтожения.

Наглядный пример: дроны Судного дня в нашем рассказе очень трудно выследить. Ценные подсказки, возможно, даст взлом коммуникационных протоколов такого дрона, но для этого годен только «живой» беспилотник, а не сбитый и поврежденный.

Любая атака автономного оружия, скорее всего, вызовет ответную реакцию страны — объекта нападения. Эскалация конфликта тут может быть стремительной, даже привести к ядерной войне. Причем первая атака может быть инициирована даже не государством, а, например, террористами. А это уже существенно повышает уровень опасности автономного оружия.

ВОЗМОЖНЫЕ РЕШЕНИЯ ДЛЯ ОСЛАБЛЕНИЯ УГРОЗ АВТОНОМНОГО ВООРУЖЕНИЯ