Хаос. Как беспорядок меняет нашу жизнь к лучшему

Такая высокая погрешность на самом деле утешает, так как на метод не будут полагаться всецело. Компании вроде UPS или FedEx никогда не согласятся на то, чтобы 1 из 25 их посылок уходили по неверному адресу: это было бы катастрофой для репутации. Французская полиция, как мы надеемся, не будет счастлива тому факту, что вламывается в дверь дома с небольшой вероятностью того, что там живет законопослушный гражданин. И если бы так происходило все время, жалобы рассматривались бы серьезно: когда в службе омбудсменов знают, что сотрудники полиции проваливают 1 дело из 25, то им придется выслушать того, кто утверждает, что попал в эти 4%.

Но что, если Google поработает над точностью своей системы? Теперь лишь 1 ошибка будет приходиться на 24 миллиона правильно распознанных французских домов. Но она может с кем-то произойти, а никто не поверит. Чем реже случается исключение, как с системой fly-by-wire, тем, вероятнее всего, хуже мы на него отреагируем. Мы по умолчанию полагаем, что компьютер всегда прав, и, когда кто-то говорит, что машина ошиблась, то предположим, что человек перед нами сам ошибается или лжет. Что происходит, когда сотрудники частной охранной службы выбрасывают вас из местного торгового центра, потому что система охраны ошиблась и распознала вас как известного карманника?[247] Эта технология уже существует, и в нее вносят изменения, чтобы позволить продавцам выделять наиболее падких на акции покупателей в тот момент, когда они входят в магазин. Когда вы уже находитесь в «криминальном» списке, насколько легко из него выйти?

Автоматизированные системы могут работать безупречно — но если мы слишком доверяем им, от этого страдают живые люди. Рассмотрим опыт Рахины Ибрагим, 39-летнего преподавателя и архитектора, которая училась в докторантуре Стэнфорда. 2 января 2005 года она попыталась вылететь из Сан-Франциско на Гавайи, чтобы выступить со своим исследованием на конференции. Это было достаточно трудное путешествие с учетом того, что Рахина была прикована к инвалидной коляске из-за недавней операции, но оно стало еще труднее. После попытки пройти регистрацию она на глазах своей дочери-подростка была арестована: на нее надели наручники и увезли в изолятор. Спустя несколько часов ей разрешили вылететь на следующий день[248]

.

Спустя два месяца Рахине, которая на тот момент находилась в своей родной стране Малайзии, сообщили в аэропорту, что ее американская студенческая виза была аннулирована без уведомления. Несмотря на то что ее ребенок имел американское гражданство, она никогда не сможет вернуться в США.

Если для отмены штрафного талона Виктора Хэнкинса понадобилось лишь упомянуть при сотрудниках городского совета Брадфорда о суде, Рахине понадобились 9 лет и $4 миллиона от волонтеров на юридическую поддержку — американское правительство всеми силами пыталось замять дело, — прежде чем американский окружной судья Уильям Элсап огласил шокирующие результаты. Рахина попала в черный список пассажиров по ошибке — возможно, в результате путаницы между Jemaah Islamiyah, террористической группировкой, чье установленное в автомобиле взрывное устройство убило в 2002 году 202 человека на Бали, и Jemaah Islah Malaysia, профессиональной ассоциации жителей Малайзии, которые учатся за рубежом. Рахина была членом второй организации, а не первой.

Как только ошибка возникла в базе данных, она приобрела полную власть над компьютером. Как писал судья, «как только компрометирующая информация опубликована в TSDB [Базе данных для проверки террористов], она может широко распространиться по взаимосвязанному комплексу правительственных баз данных, как и плохая кредитная история, от которой никогда не избавиться». Изначальная ошибка распространилась словно вирус, устранение которого не вызывало интереса ни у одного служебного лица.

Окружающий мир — это хаотичная среда. Вот тут цифра «1» или «7», строчная «L» или прописная «i»? Автомобиль неподвижен: он припаркован или застрял в пробке? Этот человек — карманник или просто на него похож? Эта группа с незнакомым названием — банда убийц или ассоциация международных студентов? В хаотичном мире ошибки неизбежны.

При этом автоматизированные системы стремятся к упорядоченной структуре. Как только алгоритм или база данных поместили вас в конкретную категорию, данные, записанные черным по белому, отвергают любые доводы. Вы карманный вор. Вы припарковались на автобусной остановке. Вы в черном списке пассажиров. Машина так утверждает, наделенная властью правительством, которое годами упорно защищает себя вместо того, чтобы признать, что ошибки случаются.