Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Но что если автоматизированные системы глючат, сбоят и ведут себя не так, как ожидалось? Американская система Phalanx, устанавливаемая на крейсерах класса Aegis[24], автоматически обнаруживает, отслеживает и отражает приближающиеся цели противника, такие как противокорабельные ракеты и самолеты. USS Vincennes[25] был ракетным крейсером, получившим прозвище «Робокрейсер» — с намеком на установленную на нем систему Aegis. 3 июля 1988 года, в разгар перестрелки с иранскими канонерскими лодками в ходе ирано-иракской войны, его радиолокационная система предупредила о приближении самолета. Капитан Уильям Роджерс-третий заключил, что их атакует иранский истребитель F‐14 и позволил системе Aegis открыть огонь. В тот момент он не понимал, что они сбивают пассажирский самолет иранской авиакомпании Iran Air, выполнявший свой обычный рейс под номером 655. Погибли все 290 человек, находившиеся на борту, из-за чего разразился грандиозный международный скандал. Расследование показало, что катастрофа произошла отчасти из-за того, что пользовательский интерфейс системы не давал достаточно полной информации, не показывая в автоматическом режиме, ни какие из точек на экране радаров соответствуют гражданским самолетам (рейс 655 проходил в его обычном ежедневном коридоре с включенным гражданским транспондером), ни какие из самолетов снижаются (как во время нападения), а какие, напротив, набирают высоту (как это было с рейсом 655, который как раз взлетал из аэропорта Тегерана). Вместо этого автоматизированная система сформировала запрос о траектории загадочного самолета и получила на него ответ «нисходящая», но это был статус уже другого самолета, которому присвоен номер, используемый на военных кораблях для отслеживания самолетов военно-морского флота. Так что снижался в тот момент на самом деле патрульный самолет США, находившийся на боевом дежурстве далеко от места событий, над поверхностью Оманского залива.

Рис. 3.4

Современные военные дроны (например, стоящий на вооружении ВВС США MQ‐1 Predator) дистанционно управляются человеком. В будущем у подобных дронов есть шанс освободиться от человека в цепи управления.

В этом случае окончательное решение принимал именно человек, включенный в цепь управления, но из-за нехватки времени он был вынужден чрезмерно доверять тому, о чем сообщала автоматизированная система. Пока что высшие должностные лица, ответственные за оборону своих стран, согласны в том, что во всех развернутых системах оружия человек включен в цепь; исключение делается лишь для простых ловушек вроде наземных мин. Но в настоящее время ведется разработка действительно автономного оружия, которое по-настоящему самостоятельно выбирает и атакует цели. В военном отношении перспектива изъять человека из цепей управления очень заманчива, это сразу даст преимущество в скорости: в схватке между полностью автономным дроном, способным реагировать моментально, и вяло реагирующим дроном, подчиняющимся командам человека, сидящего за пультом дистанционного управления на расстоянии в полмира, какой из двух, по-вашему, победит?