Сегодня мы попадаем в большее количество списков, чем когда-либо: списки преступников, списки расточительных покупателей, списки людей, которые часто ездят в Сан-Леандро (Калифорния), даже списки жертв насилия[249]
. Компьютеры превратили такие списки из неуклюжих ящиков с бумагами в актуальные и постоянно данные. И компьютеры зачастую не несут ответственности: алгоритм, который составляет рейтинги учителей и школ, водителей Uber или компаний в поиске Google, как правило, будет представлять коммерческую тайну. Какие бы ошибки или предубеждения ни были там запрограммированы, он защищен от проверок, его сложно оспорить[250].При всей силе и неоспоримой пользе подобных данных мы, возможно, еще не признали, насколько упорядоченные массивы не соответствуют хаотичному миру. Мы не предполагаем, что компьютер, который в сотни раз точнее и в миллионы раз быстрее человека, может сделать в 10,000 раз больше ошибок. И, вспоминая проект научного лесоведения Иоганна Готлиба Бекмана, мы не можем признать, чтоб базы данных не только классифицируют, но еще и изменяют мир.
Это не значит, что мы должны начать уничтожение алгоритмов и массивов с информацией. Даже если мы разделяем сомнения Майкла Катц-Лакаба, многие из нас признают, что компьютеризованные системы оправдывает хотя бы помощь в расследовании преступлений, регулировании дорожного трафика и предотвращении допуска террористов на самолет. Но база данных и алгоритмы, равно как и автопилот, должны существовать для поддержки решений человека. Если мы полностью доверимся машинам, катастрофа неизбежна.
Наша приобретенная из-за технологий беспомощность порой больше забавляет, чем приводит в ужас. В марте 2012 года три японских студента, приехавшие в Австралию, решили отправиться в Норт-Страдброк, руководствуясь GPS-навигатором. По каким-то причинам навигатор не знал, что на проложенном маршруте нужно было каким-то образом пробраться 9 миль через Тихий океан. Подобное, конечно, случается, но ситуация с тремя студентами была поразительной: подчинившись технологиям, они выехали на пляж и илистые участки океана. Когда вода начала плескаться вокруг их Hyundai, они поняли, что застряли. Под взглядами удивленных пассажиров парома студенты оставили машину и пошли вброд к берегу. Машина не подлежала восстановлению. «Мы снова хотим вернуться в Австралию, — сказал один из парней. — Все очень добры, особенно сегодня»[251]
.Весело смеяться над несведущими туристами. Но стоит также задаться вопросом, как три разумных существа могут заехать в Тихий океан по инструкциям вышедшего из строя GPS-навигатора{44}
. Автоматизированные системы склонны вводить нас в состояние пассивности. В других ситуациях у нас есть хорошо известная тенденция принимать параметры по умолчанию — например, в странах, где людей регистрируют в список доноров органов автоматически, только если они не поставят галочку в пункте об отказе, практически все соглашаются на это. В странах, где вы должны поставить галочкуКак оказалось, такая тенденция применима и к автоматизированным процессам: психологи называют ее
Завести машину в море является крайним примером погрешности автоматизации, но многие пользователи GPS-навигаторов знакомы с менее драматичными последствиями. Когда вы используете навигатор в первый раз, то действуете осторожно. Вы проверяете карту, возможно, распечатываете некоторые направления, знакомитесь с территорией и самостоятельно подсчитываете, сколько займет ваша поездка. Но после трех-четырех успешных выездов наступает привыкание: зачем суетиться, когда навигатор построит маршрут быстрее и достовернее?
GPS-навигатор не будет подводить часто, но когда это произойдет, то случай будет серьезный. Как-то раз я направлялся в отель в центре Йорка, прекрасного средневекового города, окруженного стенами, которые не дают автомобилям заполонить город. Я прибыл поздно ночью и обнаружил, что на моем маршруте идут ночные работы по замене дорожного полотна. Навигатор не понимал этого и рекомендовал двигаться дальше, снося заграждения. К счастью, у меня хватило ума не следовать этим указаниям и ложиться под встречный асфальтоукладчик, но на большее я оказался неспособен, поскольку доверял компьютеру и не озаботился запасными вариантами. Я не знал, где находился сам и где находился мой отель. У меня не было карты — это случилось до возникновения смартфонов, — поэтому я был вынужден бесцельно ездить по округе в надежде, что устройство в конце концов предложит альтернативный маршрут.