Стеклянная клетка

Идея соблазнительная, но от нее за милю отдает упрощенчеством. Машины наследуют пороки и заблуждения своих создателей. Рано или поздно любая, даже самая передовая технология отказывает, ломается или, как в случае компьютеризованных систем, сталкивается с ситуацией, которую не предвидели ни конструкторы, ни программисты. В этом случае алгоритм становится в тупик. В начале 2009 года, всего за несколько недель до катастрофы в Буффало, у аэробуса А320 компании US Airways отказали все двигатели из-за столкновения со стаей гусей при взлете из нью-йоркского аэропорта La Guardia. Действуя умело и хладнокровно, капитан Чесли Сулленбергер и его второй пилот Джеффри Скайлс смогли в течение трех решающих минут плавно посадить машину в реку Гудзон. С борта удалось снять всех пассажиров и экипаж. Если бы на борту этого А320 не было «нянек» в лице пилотов, то все, кто находился на борту, погибли бы почти неминуемо, ибо у пассажирских лайнеров все двигатели сразу выходят из строя очень и очень редко.

Но иногда пилоты спасают машины при механических поломках, отказах автопилота, плохой погоде и неожиданных событиях. «Снова и снова, – писал в 2009 году немецкий журнал Spiegel в статье о безопасности на воздушном транспорте, – пилоты автоматически управляемых самолетов сталкиваются с жуткими сюрпризами, предусмотреть которые не могли никакие инженеры» [5].

То же самое можно сказать и о положении в других отраслях. В прессе широко освещалось происшествие с Google-мобилем, за рулем которого сидел человек; но мы практически ничего не слышали о тех случаях, когда водители, сидевшие в автоматических машинах Google, брали на себя управление, если компьютер с ним не справлялся. Правила Google требуют ручного управления на улицах жилых кварталов, а каждый, кто хочет покататься на компьютерном автомобиле, должен пройти курсы экстремального вождения [6]. Автоматические автомобили не такие уж и самостоятельные, как кажутся.

В медицине специалистам часто приходится пересматривать инструкции или назначения, сделанные компьютерами. Руководство госпиталей обнаружило, что назначения ими лекарств, устранив некоторые общие расстройства организма человека, создали новые проблемы. Проведенное в 2011 году в одном из госпиталей исследование показало, что число случаев повторного назначения одних и тех же лекарств возросло после внедрения автоматизированной системы [7]. Диагностические программы тоже далеки от совершенства. В большинстве случаев доктор Алгоритм поставит вам правильный диагноз и назначит адекватное лечение, но если набор ваших симптомов отличается от стандартного, то вы будете благодарить судьбу за то, что в кабинете оказался доктор Человек, который исправил неудачные назначения компьютера.

Потенциальных источников ошибок становится больше по мере усложнения технологии автоматизации, увеличения числа перекрестных связей, объемов баз данных и сетевых протоколов. Системы подвергаются «каскадам отказов», в ходе которых небольшая поломка в каком-то одном звене приводит к катастрофическим последствиям, вызывая разлад всей системы. В 2010 году группа физиков писала в журнале Nature: «Человек живет в мире взаимозависимых сетей. Различные элементы инфраструктуры, такие, как водоснабжение, транспорт, заправочные станции и электростанции, – все это соединено в единую систему электроникой и другими средствами, что делает их в высшей степени чувствительными к случайным сбоям и ошибкам» [8].

Становится все труднее выявлять вероятность наступления таких нарушений. «В промышленных машинах прошлого, – объясняет научный сотрудник MIT Нэнси Ливсон в своей книге “Engineering a Safe Word” (“Создание безопасного мира”), – взаимодействие между деталями можно было надежно спланировать, понять и защитить, а всю конструкцию машины – полностью протестировать, прежде чем запускать ее в действие». Современные высокотехнологичные системы уже не обладают этими свойствами. Они стали менее управляемыми в интеллектуальном смысле, чем их предшественники, собранные с помощью болтов и гаек [9]. Все части машины могут работать безупречно, но небольшая ошибка в конструкции способна привести к непоправимой катастрофе.