Общество контроля. Как сохранить конфиденциальность в эпоху тотальной слежки

Я встретился с Рашидой Ричардсон в быстро пустеющем офисе на Нижнем Манхэттене (Центр науки о данных Нью-Йоркского университета находился в процессе переезда). До прихода в Институт AI Now она была юрисконсультом в Нью-Йоркском союзе гражданских свобод. Ричардсон объяснила мне, что если знать всю ситуацию с применением алгоритмов в системе уголовного правосудия, то ее статья «Грязные данные» представляет собой лишь верхушку айсберга. Она добавила: «Есть и побочные последствия. Что вы скажете о жилищных фондах, использующих данные уголовного правосудия?[186] О базах, содержащих данные банд? О том, как данные о преступности и полиции используются в досудебных оценках? Вот усугубляющийся вред, который мы даже не сознаем из-за непрозрачности этих систем и невозможности узнать, какие данные используются и почему».

Некоторые города стали пытаться это исправлять. В январе 2018 года городской совет Нью-Йорка принял закон, предписывающий создать целевую группу, которая давала бы рекомендации о том, как информация об автоматизированных системах принятия решений полицейскими агентствами может передаваться общественности и как агентства могут реагировать на случаи, когда люди страдают от действий автоматизированных систем принятия решений.

Четыре месяца спустя мэр Нью-Йорка Билл Де Блазио создал эту целевую группу. К сожалению, он не получил финансирования (обычно это свидетельствует о том, что политики, создающие комитет, не воспринимают задачу всерьез) и существенную часть своего первого года на посту мэра посвятил поиску такого определения автоматизированных систем принятия решений, которое удовлетворило бы всех. Заметим в скобках, что группа Ричардсон в рамках Института AI Now составила неисчерпаемый список из десятков таких алгоритмов, включающий не только программы уголовного правосудия, но и другие алгоритмы, оценивающие, какие учащиеся подвергаются риску насилия, какие арендодатели могут преследовать арендаторов, как распределять финансирование пожарным подразделениям и многое другое.

Следуя примеру Нью-Йорка, власти Вермонта создали специальную целевую группу, призванную давать штату рекомендации по использованию и регулированию искусственного интеллекта. А в апреле 2019 года сенаторы-демократы Рон Уайден (D-OR) и Кори Букер (D-NJ) вместе с конгрессвумен Иветт Кларк (D-NY) представили в Конгрессе США законопроект об алгоритмической подотчетности. Этот законопроект, который, конечно, никуда не продвинулся в недееспособном болоте 116-го Конгресса, содержал требования, чтобы компании сами оценивали, насколько их системы автоматизированного принятия решений подвержены влиянию предрассудков и насколько способствуют защите конфиденциальности и безопасности, а затем исправляли обнаруженные недостатки.

Я основываю это обсуждение на новейших данных, но мне, конечно, неизвестно, что произойдет с этими целевыми группами или законодательными актами к тому времени, когда книга попадет в руки читателей. Я готов поспорить на любые деньги и свою гордость, что законопроект об алгоритмической подотчетности не станет законом. И что целевые группы в Нью-Йорке и Вермонте тихо уйдут со сцены, как многие другие столь же благонамеренные и скучные реформаторские проекты. Что выпустят вдумчивый, возвышенный отчет, написанный канцелярским языком и полный расшаркиваний, откашливаний и оборотов типа справедливости ради следует отметить, который прочитают только люди, уже готовые согласиться с его выводами (или репортеры вроде меня).

В то же время побудительные мотивы, которые привели к созданию этих целевых групп, не исчезли. Сейчас люди как никогда лучше понимают, что правосудие, осуществляемое по цифровому алгоритму, ставит под угрозу наши гражданские свободы. Оно лишает нас права противостоять обвинителям, усиливает расовые предубеждения, которые слишком долго искажали нашу систему правосудия, и фокусирует внимание государства на людях, не совершавших никаких преступлений. Дни, когда правоохранительные органы тайно внедряли прогностические программы, похоже, сочтены.

Вероятно, заинтересованные граждане не добьются полного исключения алгоритмов из системы уголовного правосудия (и при этом нет ясности, что целью должно быть именно исключение, а не тщательный мониторинг). Но нужно заставить правительства задуматься над тем, как информация поступает в эти алгоритмы и как используется в них. Возможно, их следует очищать, например, от любых данных, собранных в периоды, когда, согласно заключению независимых агентств, департамент полиции действовал, исходя из расовых предрассудков.