Общество контроля. Как сохранить конфиденциальность в эпоху тотальной слежки

Вопрос для судебных разбирательств: если человек арестован на основании ответа, сгенерированного алгоритмом распознавания лиц, который оценил его как сорок пятое из пятидесяти наиболее вероятных совпадений, как должен адвокат использовать эту информацию – и как ее должны взвешивать судья и присяжные? Как правило, полиция утверждает, что распознавание лиц используется лишь для получения зацепок, а не доказательств. Предположительно полиция и прокуратура скажут, что в этом случае зацепка, исходящая от сорок пятого кандидата, сработала, а первые сорок четыре – нет. И если полиция арестовала нужного человека, кого волнует, какой у него номер в списке? Но это противоречит утверждениям об эффективности данной технологии.

В июле 2018 года ACLU Северной Калифорнии создал базу данных для распознавания лиц, используя общедоступные фотографии и Rekognition – программу для распознавания лиц с глубинным обучением. Используемая полицейскими департаментами и крупными корпорациями система Rekognition является одним из результатов вхождения Amazon Web Services на рынок видеонаблюдения (Amazon также владеет компанией Ring). Как уже упоминалось в главе 1, Американский союз гражданских свобод (ACLU) пробил всех действующих членов Конгресса по этой базе данных, используя настройки Amazon по умолчанию. База данных ошибочно идентифицировала двадцать восемь членов Конгресса как лиц, находящихся под арестом. При этом непропорционально большую долю (40 %) составляли небелые люди. В их числе оказались Джон Льюис, герой движения за гражданские права, который с 1987 года представляет часть Атланты, и Луис Гутьеррес, который в течение двадцати шести лет представляет части Чикаго.

Вице-президент Amazon по вопросам искусственного интеллекта Мэтт Вуд не принял результаты этого эксперимента, заявив, что ACLU выставил типовой для Rekognition порог уверенности по умолчанию в 80 %, а не в 99 %, который система рекомендует для правоохранительных органов. Более того, по его словам, Rekognition постоянно совершенствуется. В одном коротком посте он дважды упомянул, что система Rekognition используется для борьбы с торговлей людьми (хотя ни разу не объяснил, как именно)[111]. Но любая вещь может быть в чем-то вредной, а во всем остальном полезной. Ракеты класса земля – воздух помогают выигрывать войны, но это не значит, что такая ракета нужна моему соседу. При разрешении мелких споров по уходу за газоном это оружие куда менее продуктивно.

Эксперимент Американского союза гражданских свобод – лишь одно из многих исследований, выявляющих расовые и гендерные предубеждения в алгоритмах распознавания лиц. Иногда эти предубеждения видны и без всяких исследований: в 2015 году потребительское приложение Google для распознавания лиц ошибочно идентифицировало двух афроамериканцев как горилл.

В начале 2018 года докторантка Массачусетского технологического института Джой Буоламвини и исследовательница искусственного интеллекта из Google Тимнит Гебру опубликовали статью, в которой анализируется, насколько хорошо три ведущих алгоритма распознавания лиц – IBM, Microsoft и Megvii, более известный как Face++, – считывают гендерные различия внутри рас. Они обнаружили, что при идентификации женщин все три алгоритма ошибаются примерно в 2,5 раза чаще, чем при идентификации мужчин, и темнокожих людей определяют неправильно почти в два раза чаще, чем светлокожих. Наихудшие результаты получились, когда программы пытались распознать лица темнокожих женщин[112].

Почему алгоритмы хуже справляются именно с такими задачами, неясно, но это может быть как-то связано с теми наборами данных, на которых они обучаются. Возможно, в этих наборах больше мужчин, чем женщин, и больше белых людей, чем небелых, а алгоритм лучше всего работает с наиболее знакомыми характеристиками.

Это говорит о том, что расовые и гендерные предубеждения при распознавании лиц можно снизить хотя бы отчасти, если обучать алгоритмы с использованием более разнообразного набора лиц (и в итоге алгоритмы будут одинаково плохо определять представителей всех полов и этнических групп). Похоже, в IBM к этой теории отнеслись с доверием. В начале 2019 года компания выпустила массив данных из миллиона разнообразных лиц, аннотированных десятью различными способами, чтобы дать алгоритмам распознавания лиц более надежную отправную точку[113]. Что касается компании Microsoft, то она, согласно «Нью-Йорк таймс», в ответ на выводы Буоламвини заявила, будто инвестирует в исследования, призванные распознавать, понимать и устранять предвзятости[114]. (Подобно Amazon и IBM, Microsoft призвала правительство регулировать распознавание лиц, хотя при сегодняшней неэффективности Конгресса этот призыв выглядит как просто игра на публику.)