Стеклянная клетка

Опасность еще более увеличивается из-за невероятной скорости, с какой компьютеры принимают решения и начинают действовать. Это было наглядно продемонстрировано ужасным утром 1 августа 2012 года, когда крупнейшая торговая фирма Уолл-стрит Capital Group запустила новую автоматизированную программу для покупки и продажи акций. В этой суперсовременной программе был небольшой изъян, оставшийся незамеченным во время ее испытаний. Программа немедленно вздула валютные курсы своими абсолютно иррациональными распоряжениями, продавая ежесекундно акции на 2,6 миллиона долларов. Через 45 минут, которые потребовались математикам и программистам для того, чтобы разобраться в проблеме и остановить это безумие, программа успела растранжирить 7 миллиардов долларов, поставив компанию на грань банкротства. Через неделю консорциум других фирм Уолл-стрит компенсировал убытки Capital Group, чтобы избежать катастрофы на финансовом рынке.

Естественно, технология не стоит на месте, а неисправности всегда устраняются. Но безупречность работы автоматизированных систем, увы, навечно останется недостижимым идеалом. Даже если инженерам удастся создать совершенную систему, то ей придется подстроиться под наш мир. Беспилотные автомобили поедут не по улицам города Солнца. Роботы работают не в райских кущах. По небу по-прежнему будут летать гуси, а из туч – сверкать молнии. Убеждение в том, что когда-нибудь будет построена абсолютно самодостаточная, надежная автоматизированная система, – это не более чем утопия. К сожалению, такая вера характерна не только для высоколобых технократов, но и для инженеров и программистов, создателей этих систем. В своей знаковой статье, напечатанной в 1983 году в журнале Automatica, Лизанна Бэйнбридж, профессор инженерной психологии из Лондонского университетского колледжа (University College London), сформулировала причину наделения компьютерных систем все бо́льшими задачами, заключающуюся в том, что создатели программ часто считают людей «ненадежными и неэффективными» по сравнению с компьютерами. Люди, таким образом, превращаются в наблюдателей, пассивных созерцателей экранов [10]. Исследования вигильности[25] операторов британских радаров, следивших за немецкими подводными лодками во время Второй мировой войны, показали, что даже высокомотивированный человек не способен внимательно следить за экраном монитора больше чем полчаса, если эта информация не меняется [11]. Людям становится скучно, они отвлекаются на посторонние мысли, концентрация внимания падает. «Это означает, – писала Бэйнбридж, – что человек физически не способен наблюдать за экраном, на котором долгое время не происходит ничего существенного» [12].

Поскольку навыки утрачиваются, если их не применять на практике, добавляет Бэйнбридж, то даже опытные операторы через некоторое время начинают работать как новички, если основная работа заключается в наблюдении, а не в действии. Инстинкты и рефлексы затухают, когда их не используют. У операторов возникают трудности с выявлением и оценкой возникающих проблем, а реакция на них становится медленной и обдуманной, исчезает автоматизм действий. В сочетании потери интереса к картинке с угасанием навыков кроется причина повышения риска нештатной ситуации, которая рано или поздно непременно произойдет. Как только это случается, разработчики аппаратуры вносят в нее усовершенствования, призванные еще больше ограничить роль оператора и тем самым усугубить вероятность его неверных действий. Убеждение, что человек является самым слабым звеном системы, становится принципом.

Эргономика – наука о правильной организации человеческого труда – восходит по меньшей мере к эпохе древних греков. Гиппократ в трактате «О вещах, относящихся к хирургии» помещает точные инструкции по поводу освещения и оснащения операционной, пишет, как надо раскладывать инструменты, пользоваться ими, и даже о том, во что должен быть одет хирург. В дизайне многих древнегреческих инструментов видны результаты размышлений о форме и весе инструмента, влияющих на производительность, выносливость и здоровье работника. В древних цивилизациях Азии мы тоже находим признаки приспособления орудий труда к физическому и психологическому удобству работника [13].

Однако лишь к моменту начала Второй мировой войны эргономика вместе с ее теоретической кузиной кибернетикой формально стала учебной и научной дисциплиной. Тысячам неопытных солдат надо было доверить сложное и опасное оружие и технику в условиях нехватки времени на обучение и тренировку. Благодаря Норберту Винеру и американским психологам Полу Фиттсу и Альфонсу Шапани, работавшим с личным составом ВВС, военные и промышленные специалисты научились понимать, что люди играют такую же существенную роль в успешной работе сложных технологических систем, как механические детали и электронные регуляторы. Невозможно создать машину, а потом – в духе Тейлора – заставить человека к ней приспособиться. Наоборот, надо конструировать машину, приспособленную к человеку.