Новые темные века

31 августа 1983 года, вскоре после взлета из аэропорта Анкориджа на Аляске летный экипаж запрограммировал курс, заданный им диспетчером воздушного движения, и передал управление самолетом автопилоту. Следуя запрограммированным контрольным точкам, автопилот должен был провести самолет через Тихий океан в Сеул, но либо из-за ошибки в настройках, либо из-за несовершенного понимания механизмов системы автопилот отклонился от назначенного маршрута, а точнее, остался на своем первоначальном курсе и уходил все дальше и дальше на север от предполагаемого маршрута. Через пятьдесят минут полета самолет покинул воздушное пространство Аляски и находился почти в двадцати километрах к северу от рассчитанного местоположения; за время полета его отклонение увеличилось до восьмидесяти, а затем до ста шестидесяти километров от предполагаемого курса. По словам следователей, занимавшихся катастрофой, в течение нескольких часов экипаж несколько раз мог заметить тревожные сигналы. Так, они обратили внимание на то, что время в пути между маяками постепенно увеличивалось, но не придали этому значения. Пилоты жаловались на плохой прием радиосигнала, ухудшавшийся, поскольку они удалялись от обычных воздушных маршрутов. Но ничего из этого не заставило пилотов усомниться в системе или перепроверить свое местоположение. Они продолжали доверять автопилоту даже после того, как вошли в советское воздушное пространство над полуостровом Камчатка. Они не изменили курс, даже когда в воздух были подняты военные истребители-перехватчики. Три часа спустя, все еще не ведая того, что происходит, они были обстреляны Су-15, вооруженным двумя ракетами класса «воздух – воздух», которые взорвались достаточно близко, чтобы вывести из строя гидравлические системы корейского самолета. На стенограмме переговоров слышно, что в последние несколько минут полета экипаж неоднократно и безуспешно предпринимал попытки повторно задействовать автопилот, поскольку автоматическое объявление предупредило об аварийном снижении(34).

Такие события происходили неоднократно, и плачевный исход подтверждался в нескольких экспериментах на симуляторах. Хуже того, предубеждения не ограничиваются ошибками бездействия, а включают и ошибки действия. Когда команда борта Korean Air Lines слепо следовала указаниям автопилота, она выбирала путь наименьшего сопротивления. Но было показано, что при срабатывании автоматических предупреждений даже опытные пилоты действуют решительно, в том числе вопреки собственным наблюдениям. Чрезмерно чувствительные системы оповещения о пожаре на ранних самолетах Airbus A330 стали печально известны тем, что вынуждали множество рейсов отклоняться от курса, часто с определенным риском, даже когда пилоты несколько раз лично проверяли самолет и не находили признаков пожара. В исследовании, проведенном в симуляторе полета NASA, во время подготовки к взлету экипажи получали противоречивые предупреждения о пожаре. Исследование показало, что 75 % экипажей, следуя указаниям автоматизированной системы, выключали не тот двигатель, тогда как при следовании традиционному бумажному протоколу полета так делали только 25 %. В обоих случаях пилоты имели доступ к дополнительной информации, которая должна была повлиять на их решение. Записи симуляций показали, что следившие за автоматизированной системой люди принимали решения быстрее и почти без обсуждения, то есть предлагаемое компьютером немедленное действие мешало им глубже вникнуть в проблему(35).

Предвзятость автоматизации показывает, что технологии угрожают жизни не только в случае программного сбоя. И в очередной раз пример тому – система GPS.

Пытаясь добраться до острова в Австралии, группа японских туристов свернула на машине на пляж и съехала прямо в море, потому что спутниковая навигационная система заверила их, что там можно проехать. Когда начался прилив, они оказались в пятнадцати метрах от береговой линии, пришлось вызывать спасателей(36). В американском штате Вашингтон машина заехала в озеро, когда навигатор направил водителя с главной дороги на лодочную рампу. Приехавшие аварийные службы увидели только багажник на крыше тонущего автомобиля(37). Для рейнджеров в Национальном парке Долина Смерти такие явления стали настолько обычными, что у них появился специальный термин – «Смерть по GPS», который описывает, что происходит, когда незнакомые с местностью путешественники следуют инструкциям навигатора, а не своим ощущениям(38). В регионе, где по многим обозначенным на карте дорогам не проехать обычному транспортному средству, а дневная температура порой достигает пятидесяти градусов по Цельсию, остаться без воды и заблудиться – значит умереть. Во всех этих случаях не было никакого намеренного или случайного сбоя сигнала. Компьютеру просто задали вопрос, он ответил, и проложенный маршрут привел людей к смертельной опасности.