Предупреждающий характер полицейского прогнозирования означает, что отношение к человеку определяется не тем, что он сделал, а выводами, основанными на данных, о том, что он может сделать. В результате такие типы систем способны усиливать дискриминацию, копируя закономерности из исторических данных, и создавать самосбывающиеся пророчества.
Если вы потратите некоторое время на изучение коммерческой пропаганды, которая окружает науку о данных, у вас появится ощущение, что любая проблема может быть решена с использованием ее технологий при наличии достаточного объема корректных данных. Этот маркетинг возможностей порождает иллюзию того, что подход к управлению, основанный на данных, является наилучшим решением сложных социальных проблем, таких как преступность, бедность, образование и здравоохранение: все, что от нас требуется, — это внедрить повсеместно датчики, затем объединить данные и запустить алгоритмы, чтобы сгенерировать ключевые идеи, которые обеспечат решение.
Но после того, как эти аргументы приняты, на первый план выходят два процесса. Во-первых, общество становится более технократическим по своей природе, и многие аспекты жизни начинают регулироваться системами на основе данных. Такое технологическое регулирование уже существует: так, в некоторых юрисдикциях наука о данных используется на слушаниях об условно-досрочном освобождении{30}
и при вынесении приговоров{31}. Из других примеров, за пределами судебной системы, можно привести технологии умного города, которые регулируют потоки городского трафика с помощью алгоритмов, динамически определяющих, какой из потоков получит приоритет на перекрестке в зависимости от часа дня{32}. Побочным продуктом этого технократического всплеска является засилье датчиков, поддерживающих автоматизированные системы регулирования. Второй процесс, получающий развитие, — «расползание контроля», когда данные, собранные для одной цели, перенаправляются и используются для другой{33}. Например, дорожные камеры, установленные в Лондоне для регулирования заторов, были в дальнейшем использованы для задач безопасности{34}. Или пример технологии под названием ShotSpotter, состоящей из общегородской сети микрофонов, предназначенных для распознавания выстрелов из огнестрельного оружия и их локализации. Она также используется для записи разговоров, часть из которых уже стали основанием для вынесения приговоров по уголовным делам{35}. Или использование автомобильных навигационных систем для отслеживания водителей, которые выезжают за пределы штата, и их штрафования{36},{37}.Одним из аспектов расползания контроля является стремление объединить данные из разных источников, чтобы обеспечить более полную социальную картину и таким образом попытаться достичь более глубокого понимания системных проблем. Часто приводятся веские причины для перепрофилирования данных, звучат призывы объединить данные из разных ветвей власти с целью, например, поддержки исследований в области здравоохранения или удобства для государства и граждан. Однако с точки зрения гражданских свобод эти тенденции вызывают беспокойство. Усиленный надзор, интеграция данных из нескольких источников, расползание контроля и упреждающее управление (например, использование программ полицейского прогнозирования) могут привести к тому, что человек станет вызывать подозрение только потому, что последовательность не связанных между собой невинных действий и/или встреч совпадет с моделью, которую система управления данными считает подозрительной. Жизнь в таком обществе превратит нас из свободных граждан в заключенных паноптикума Бентама[30]
, заставляя самодисциплинироваться из опасения этих неверных выводов. Различие между людьми, которые верят в то, что они свободны от надзора и ведут себя соответственно, и людьми, которые самодисциплинируются внутри паноптикума, является главным различием между свободным обществом и тоталитарным государством.В поисках утраченной приватности