После нескольких менее проблемных поездок я вновь начал доверять навигатору — он безукоризненно работал годами до тех пор, пока недавно я не направился к месту проведения загородной свадьбы, вооруженный лишь почтовым кодом. Как выяснилось, компьютер его не знал. Не понимая, почему навигатор подвел меня, я не в состоянии предсказать, когда он может вновь ошибиться.
Гэри Клейн, психолог, который специализируется на исследовании экспертного и интуитивного процесса принятия решений, так формулирует проблему: «Когда алгоритмы принимают решения, люди зачастую прекращают самосовершенствоваться. Алгоритмы усложняют диагностирование причин неудач. По мере того как люди становятся более зависимыми от алгоритмов, здравый смысл может ослабевать, в еще большей степени повышая зависимость. Так создается порочный круг. Люди становятся пассивными и менее бдительными, когда решения принимают алгоритмы»[253]
.Аналитики в области решений вроде Кляйна жалуются, что многие разработчики программного обеспечения усиливают проблему, преднамеренно разрабатывая системы, которые вытесняют человеческий опыт параметрами по умолчанию. Если мы хотим использовать их для поддержки человеческого опыта, нужно бороться с системой. Например, GPS-устройства могут предлагать все виды поддержки принятия решений, позволяя водителю изучить варианты, рассмотреть карты и изменить маршрут. Но эти функции становятся все более скрытыми. Нужно потратить время, чтобы их найти, тогда как гораздо легче нажать на «Начать движение» и доверить машине все остальное.
Системы, которые вытесняют, а не поддерживают процесс принятия решений человеком, распространены повсюду. Нас беспокоит, что машины отбирают нашу работу, но не менее серьезная проблема состоит в том, что они захватывают и наш здравый смысл. На огромных складах, так распространенных за кулисами современной экономики, грузчики торопятся схватить продукты с полок и отнести их туда, где их можно упаковать и отправить. В ушах людей находятся наушники: голос «Дженнифер», части программного обеспечения, говорит им, куда идти и что делать, контролируя любое движение. « Дженнифер» разбивает инструкции на крошечные части, чтобы минимизировать ошибки и максимизировать продуктивность, — например, вместо того чтобы взять 18 копий книги с полки, рабочий получит инструкции о том, что нужно пять. Затем еще столько же. И еще. Затем еще три. Работа в подобных условиях превращает людей в машины, состоящие из плоти. Вместо того чтобы просить нас думать или приспосабливаться, компонент программы «Дженнифер» захватил наш мыслительный процесс и обращается с работниками как с дешевым источником визуальной обработки и парой рук[254]
.Можно даже предположить, что финансовый кризис 2007-2008 годов, который поверг мир в рецессию, был аналогичен рассеянному движению автомобиля в Тихий океан. Одним из слабых мест, способствовавших кризису, был провал финансовых продуктов под названием «обеспеченные залогом обязательства» (CDO) — чрезвычайно сложные структуры, стоимость которых скрытым образом зависит от здоровья американского ипотечного рынка. Бывалый маркетолог может взглянуть на быстро растущие цены на жилье и задуматься о том, что возможно резкое падение, хотя США не испытывали прежде общенационального синхронного краха. И если тот человек мог обратиться к компьютерам, компьютеры могли бы продемонстрировать катастрофическое воздействие такого краха на стоимость CDO. К сожалению, здесь нет единства взглядов: компьютеры не обладали неявными знаниями опытных людей, поэтому они не могли разработать идею вероятности краха тогда, когда опытные люди не понимали, как их интуиция повлияет на стоимость CDO.
Можно сопротивляться зову алгоритмов. Психолог Ребекка Плиске обнаружила, что опытные метеорологи создают прогнозы погоды, вначале рассмотрев данные и сформировав собственное суждение. Лишь потом они смотрят на прогноз компьютера, чтобы увидеть, заметил ли он то, что они пропустили (обычно этого не происходит). Составляя прогноз вручную, эти ветераны сохраняли свои навыки отточенными, в отличие от пилотов Airbus 330. Тем не менее молодое поколение метеорологов радо возможности доверять компьютерам. Как только ветераны уйдут на пенсию, способность интуитивно делать верные выводы там, где компьютеры допустят ошибку, будет утеряна навсегда[255]
.Мы наблюдали проблемы GPS-систем и автопилотов. Объедините две системы воедино, и вы получите беспилотный автомобиль.