God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning

Эта непрозрачность имеет еще более коварные последствия. Хотя эти технологии часто превозносят за их "нейтральность", этот покров безликой объективности делает учреждения, которые их используют, более неуязвимыми для обвинений в несправедливости. Как отмечает Ванг в книге "Карцеральный капитализм", многие полицейские департаменты взяли на вооружение предиктивные модели в качестве ответа на свой "кризис легитимности", видя в них решение проблемы широко распространенного общественного недоверия к полицейским, возникшего в результате многолетнего расового господства и произвольного применения силы. Предиктивная полиция позволяет полицейским провести ребрендинг "таким образом, чтобы подчеркнуть статистическую безликость и символически устранить самостоятельность отдельных сотрудников", - пишет Ванг, представляя таким образом деятельность полиции как "нейтральную, беспристрастную и рациональную". Но персонификация - необходимая часть морального возмущения. ACAB, аббревиатура, ставшая известной благодаря антиполицейским протестам, теряет свою риторическую силу, когда в ней нет субъекта. "Все полицейские базы данных - ублюдки" не имеет смысла, - пишет Ванг.

Когда дело доходит до данных, используемых для этих прогнозов, - информации, которую тихо выкачивают из нас компании, торгующие тем, что ученый Шошана Зубофф называет "поведенческими фьючерсами", - нас часто успокаивают напоминанием о том, что зеркало двустороннее. Успокаивающий бальзам "метаданных" заключается в том, что наша информация в равной степени анонимизирована и обезличена для тех, кто на ней наживается. Нам говорят, что никто не читает содержание ваших писем, а только то, с кем вы переписываетесь и как часто. Они не анализируют ваши разговоры, просто отмечают тон вашего голоса. Ваше имя, лицо и цвет кожи не отслеживаются, только почтовый индекс. Это, конечно, не из уважения к частной жизни, а скорее следствие философии самосознания, которая характеризует информационные технологии с первых дней кибернетики - представления о том, что человека можно описать исключительно в терминах шаблонов и вероятностей, без какой-либо заботы о внутреннем мире. Как отмечается в исследовании MIT, посвященном моделям человеческого поведения, невозможно определить "внутренние состояния человека", поэтому прогнозы должны опираться на "косвенный процесс оценки", глядя на различные внешние состояния, которые можно измерить и оценить количественно. Зубофф утверждает, что капитализм наблюдения часто ошибочно идентифицируется как форма тоталитаризма, который стремится переделать душу гражданина изнутри наружу. Но доктрина цифрового наблюдения не интересуется душой. В идеологии, которая не верит в мысли, не может быть "мыслепреступлений". "Ей все равно, во что вы верите. Ему все равно, что вы чувствуете", - говорит Зубофф об этой доктрине. "Ее не волнует, куда вы идете, что вы делаете или что читаете". Вернее, эти действия интересуют его только с точки зрения того, "что он может получить в качестве сырья, превратить в поведенческие данные и использовать в качестве прогнозов для своего рынка".

Эти метаданные - оболочка человеческого опыта - становятся частью петли обратной связи, которая затем активно изменяет реальное поведение. Поскольку прогностические модели опираются на прошлое поведение и решения - не только самого человека, но и других людей с теми же демографическими характеристиками, - люди оказываются запертыми в зеркале своего цифрового отражения, и этот процесс исследователь из Google Вячеслав Полонский называет "алгоритмическим детерминизмом". Алгоритмы правоохранительных органов, такие как PredPol, обозначающие красными рамками конкретные районы, где вероятно совершение преступлений, получают свои прогнозы на основе исторических данных о преступности, а это значит, что они часто направляют полицейских в те же самые бедные районы, которые они патрулировали, руководствуясь только своей интуицией. Разница в том, что теперь эти решения, подкрепленные авторитетом эмпирических данных, вызывают предубеждение подтверждения, чего не скажешь об интуиции. "Каково отношение или менталитет офицеров, которые патрулируют одну из коробок?" - спрашивает Ванг. спрашивает Ванг. "Ожидают ли они, входя в бокс, что наткнутся на совершаемые преступления? Как ожидание найти преступление может повлиять на то, что офицеры обнаружат на самом деле?" Офицеры, которые останавливают подозреваемого в таких местах, часто используют прогнозы программы для подтверждения "обоснованных подозрений". Другими словами, человек является подозреваемым, потому что алгоритм определил этот район как тот, где могут находиться подозреваемые.