Хаос. Как беспорядок меняет нашу жизнь к лучшему

Несколько лет назад полицейское управление в Сан-Леандро (Калифорния) сделало как минимум 112 фотографий двух автомобилей местного жителя Майкла Катц-Лакаба. Этот факт был выявлен не в скандальном судебном деле, где Катца-Лакаба обвиняли бы в терроризме или управлении криминальной сетью, а потому, что он подал запрос на доступ к публичным материалам, чтобы увидеть фотографии. И автомобили гражданина были сфотографированы не потому, что он подозревался в преступлении. Камеры снимали все машины, изображения сканировались, номерные знаки регистрировались, и все отправлялось в архив с датой и геометками. Дочери мистера Катц-Лакаба в возрасте пяти и восьми лет тоже попали в архив. Почему? Потому что они находились рядом с машиной, когда сработал виртуальный затвор

[244].

Фотографии автомобилей — и детей — мистера Катц-Лакаба были отправлены с миллионами других в Региональный разведывательный центр Северной Калифорнии, который находится в ведении федерального правительства США. Сто миллионов фотографий номерных знаков в секунду доступны для просмотра благодаря программному обеспечению, разработанному компанией из Кремниевой долины Palantir Technologies. Потенциал по борьбе с преступностью с таким обширным и легко анализируемым набором данных очевиден. Но с таким же успехом этот массив можно использовать с менее благородными целями: как рассуждал Катц-Лакаб на встрече с Энди Гринбергом из журнала Forbes, правительство может пролистать базу данных, чтобы узнать, «припарковался ли кто у дома, непохожего на жилище супруга или супруги, навестил аптеку с лечебной марихуаной, центр планирования семьи или акцию протеста».

В отношении такой мощной технологии однозначно нужно организовать дебаты о ее преимуществах и возможностях использования в авторитарных целях, и подобных обсуждений за последние годы было предостаточно. Однако существует другая опасность, проблема, которой уделяют гораздо меньше внимания, но которую подчеркивает наблюдение Винера: что мы делаем в тех редких случаях, когда технология выходит из строя?

Рассмотрим историю Виктора Хэнкинса, обычного гражданина Великобритании, который получил нежелательный подарок на Рождество — штраф за парковку в неположенном месте. Вместо штрафного талона под дворниками неправильно припаркованной машины первым источником информации для Хэнкинса стало письмо из местного совета под его дверью. 20 декабря 2013 года в 20 часов 8 минут и 14 секунд его машина перекрыла автобусную остановку в Брадфорде (Йоркшир) и была сфотографирована камерой, установленной в фургоне парковочной службы, проезжавшей мимо. Компьютер определил номерной знак, нашел его в базе данных и выявил адрес Хэнкинса. Был автоматически создан «пакет доказательств», включающий видеозапись с места, временную отметку и месторасположение. Письмо из городского совета Брадфорда, требующее оплаты штрафа либо судебного разбирательства, было составлено, распечатано и отправлено по почте через такой же автоматический процесс. Была лишь одна проблема: мистер Хэнкинс вообще не парковал автомобиль[245]. Он просто стоял в пробке.

Теоретически тут вообще не должно быть случая парадокса автоматизации. Эта технология должна принимать на себя рутинные обязанности, чтобы человек занялся более важной работой — например, проверкой исключительных случаев вроде того, что произошел с мистером Хэнкинсом, где, в отличие от фотографирования номерных знаков или выдачи штрафных талонов, компьютерный интеллект не поможет.

Но в бюрократии, как и в авиации, тоже есть тенденция чрезмерно доверять машинам. Городской совет Брадфорда изначально отклонил жалобу мистера Хэнкинса и с извинениями признал ошибку лишь тогда, когда тот пригрозил им судебным разбирательством. Это напоминает старую шутку: «человеку свойственно ошибаться, но, чтобы по-настоящему облажаться, нужен компьютер».

В тот же день, когда автомобиль Виктора Хэнкинса был сфотографирован, Google представила нейросеть, которая может определить номера домов на фотографиях, снятых автомобилями в Google Street View. Дайте сети час, утверждала исследовательская команда Google, и она сможет прочитать каждый номер дома во Франции с точностью 96%[246]. Это впечатляет, но даже низкий уровень погрешности создает огромное число ошибок. Во Франции 25 миллионов домов, поэтому нейросеть Google можно представить также как структуру, которая за час может неправильно распознать номера на миллионе построек.