2062: время машин

Полностью автономный пилот также позволяет сократить расходы на зарплаты тем, кто им управляет. Военно-воздушные силы США можно было бы переименовать в Дроновые силы США. В них уже состоит больше пилотов дронов, чем любого другого авиатранспорта; к 2062 году их станет больше, чем всех остальных пилотов, вместе взятых. Несмотря на то что они не рискуют своей жизнью в бою, пилоты дронов все же страдают от посттравматического синдрома так же часто, как и другие пилоты.

Автономные системы вооружения имеют множество других преимуществ. Им не нужно платить, их не нужно кормить. Они будут сражаться без остановки 24/7. Они будут обладать сверхчеловеческими рефлексами и точностью. Их не нужно будет эвакуировать с поля боя. Они безукоризненно выполнят любой приказ. Они не будут творить зверства и нарушать международное гуманитарное право[57]. Они будут идеальными солдатами, моряками и пилотами.

Стратегически автономные системы вооружения – мечта для военных. Они позволяют планировать операции, масштаб которых не ограничен трудовыми ресурсами. Один программист может управлять сотнями, даже тысячами автономных систем вооружения. Они индустриализируют войну. Они подарят огромное количество стратегических возможностей. Они заменят на поле боя людей и смогут участвовать в самых рискованных миссиях. Все это можно назвать «Война 4.0».

В сентябре 2017 года Владимир Путин сказал, что тот, кто будет лидером в области ИИ, будет управлять миром. Он предсказал, что в войнах будущего будут участвовать дроны: когда дроны одной воюющей стороны будут уничтожены, им не останется ничего, кроме как сдаться. Есть, однако, множество причин, по которым эта мечта военных в 2062 году может стать для нас кошмаром.

Нравственность роботов-убийц

Во-первых, существуют серьезные моральные возражения против роботов-убийц. Мы предаем значительную часть нашей человечности, когда доверяем машинам решать, кому жить, а кому умирать. Уж точно сегодня, когда машинам чужды эмоции, жалость и эмпатия. Наступит ли время, когда они смогут принимать такие решения?

Война – это чудовищно. На ней умирают. Солдаты возвращаются с нее калеками. Гражданское население подвергается бомбардировкам. Люди запуганы. Во время войны мы ведем себя так, как нельзя себя вести в мирное время. Отчасти мы позволяем себе так поступать по той причине, что на кону жизни солдат, которые в ней участвуют. Мы позволяем убивать врагов, потому что в этот момент наши солдаты рискуют своей жизнью.

По той причине, что война – ужасная вещь, мне кажется, что она не должна быть простой. Нельзя допустить, чтобы она проходила легко и «без жертв». История научила нас тому, что война «без жертв» – это всегда иллюзия. Война должна оставаться самой крайней мерой. Политики должны объяснять нам, почему наши сыновья и дочери возвращаются домой в гробах.

История военных технологий – это история того, как увеличивалась дистанция между убийцей и жертвой. Сперва мы дрались в ближнем бою. Затем порох позволил нам стрелять друг в друга на расстоянии. Самолеты дали возможность атаковать сверху. А теперь такие технологии, как дроны, позволяют нам убивать людей удаленно, не рискуя при этом собственной жизнью. Автономные системы вооружения – огромный шаг в сторону отстранения от войны как таковой. Уже машины, а не люди, смогут убивать самостоятельно, не вовлекая нас в этот процесс. Это в корне меняет всю природу войны. Эти перемены влекут за собой переосмысление многих наших оправданий войны.

Оружие массового поражения

Помимо моральных возражений, есть еще множество технических и юридических причин, по которым нам стоит беспокоиться из-за появления роботов-убийц. С моей точки зрения, один из самых сильных аргументов в пользу запрета такого оружия заключается в том, что оно повлечет за собой переворот в вооружении.

Первая подобная революция случилась, когда китайцы изобрели порох. Вторая – с появлением атомной бомбы, изобретенной американцами. Обе они представляли собой скачок в скорости и эффективности убийства. Автономные системы вооружения станут предвестником третьей революции.

Они превратятся в оружие массового поражения. Раньше для причинения вреда неприятелю необходимо было иметь армию. Нужно было убедить солдат подчиняться приказам, тренировать их, кормить и оплачивать их труд. Теперь же один программист сможет управлять сотнями и даже тысячами орудий. Так же, как и любое другое оружие массового поражения – химическое, биологическое или атомное, – автономные системы вооружения нужно будет запретить[58].