ИИ-2041. Десять образов нашего будущего

Высказано уже несколько предложений, как нам избежать этой экзистенциальной катастрофы. Одно из них — подход «человек-в-цикле» как гарантия того, что любое решение, связанное с чьей-либо смертью, имеет право принять только человек. Однако мощь автономного оружия во многом обусловлена именно скоростью и точностью, достигаемыми без нашего участия. Так что это условие вряд ли сочтет приемлемым страна, которая жаждет победить в гонке вооружений. Кроме того, обеспечить соблюдение этого условия на законодательном уровне крайне сложно, а вот обойти, напротив, легко.

Второе решение — объявление автономного оружия вне закона. Это предлагают в том числе и организаторы Кампании по борьбе с роботами-убийцами[116], и три тысячи человек, в том числе Илон Маск, ныне покойный Стивен Хокинг и множество экспертов по ИИ, подписавших письмо соответствующего содержания. Надо сказать, подобные усилия предпринимались и ранее — биологи, химики и физики выступали против биологического, химического и ядерного оружия соответственно.

Конечно, запретить автономное оружие непросто, но предыдущие законодательные акты, запретившие, например, ослепляющие лазеры и химическое и биологическое оружие, оказались вполне эффективными. Сегодня главным препятствием на этом пути является сопротивление России, США и Великобритании — эти государства считают такой запрет преждевременным.

В 2021 году Комиссия по национальной безопасности по ИИ США (ее возглавляет бывший председатель Alphabet Эрик Шмидт) рекомендовала Соединенным Штатам изменить отношение к запрету автономного оружия.

Третий подход предполагает жесткое регулирование производства и применения автономного оружия. Это, судя по всему, тоже будет непросто — из-за сложности создания рабочих технических спецификаций без чрезмерного обобщения.

Что считать автономным оружием? Как проводить его аудит с целью выявления нарушений установленных спецификаций? Все это серьезные, хоть и вполне преодолимые, препятствия.

Поскольку эта книга о долгосрочной перспективе, позвольте мне пофантазировать о 2041 годе — вдруг к тому времени все страны договорятся, что все войны должны вестись только с помощью роботов (а еще лучше, только в компьютерных программах), без человеческих жертв, но с классическими военными трофеями?

А еще можно представить себе будущее, в котором войны ведутся с участием и людей, и роботов. Роботам разрешается использовать только оружие, выводящее из строя бойцов-роботов, но безвредное для солдат-людей (например, как лазерный бой). Сегодня эти концепции кажутся фантастическими, но могу же я надеяться, что они быстрее вдохновят человечество на что-то реалистичное?

Надеюсь, я убедил вас, что автономное оружие уже сегодня представляет явную угрозу для людей и с беспрецедентной скоростью становится все более умным, а также ловким, смертоносным и доступным. Развертывание таких видов вооружения будет разгонять неизбежную гонку, в которой еще и не окажется естественного сдерживания, характерного для гонки ядерного вооружения.

Автономное оружие — это применение ИИ, которое наиболее явно и глубоко противоречит нашей морали и сильнее всего угрожает будущему человеческой цивилизации. Нам уже сегодня нужно привлечь экспертов и прочих ответственных лиц, чтобы оценить и взвесить различные варианты решений и предотвратить распространение такого оружия, а как следствие — и уничтожение нас, людей, как биологического вида.

Глава 8. Спаситель рабочих мест

Умру с кувалдой я в руках,

но паровому молоту не сдамся.

Американский фольклор, песня о Джоне Генри[117]

РАССКАЗ ПЕРЕВЕДЕН ЭНДИ ДУДАКОМ