Власть роботов. Как подготовиться к неизбежному

В 2018 году Американский союз защиты гражданских свобод (ACLU) сравнил фотографии всех 538 членов Конгресса США с большим набором снимков из архива арестованных. ACLU воспользовался системой Rekognition, доступ к которой можно получить через Amazon Web Service. Она становится все более популярной у отделений полиции благодаря очень низкой цене пользования. ACLU смог провести свой эксперимент всего за $12. Система отметила 28 конгрессменов как тех, кто подвергался аресту и включен в базу фотографий преступников. С учетом того, что человек, подвергавшийся аресту, не может быть избран ни в палату представителей, ни в сенат, все эти результаты были ложноположительным. Больше всего исследователей встревожило даже не количество ошибок как таковое, а выраженный перекос в сторону небелых членов конгресса. Цветные составляют около 20 % конгрессменов, но на них пришлось 39 % ложных совпадений. Amazon в ответ заявила, что ACLU неправильно настроил систему, поскольку использовал для выявления совпадений доверительный уровень по умолчанию 85 %, а не более подходящий — 95 %. Однако ACLU отметил, что Amazon не дает инструкций о том, как правильно настроить систему, и что многие управления полиции почти наверняка пользуются настройками по умолчанию[290].

Намного более масштабное исследование провел в 2019 году Национальный институт стандартов и технологий, входящий в Министерство торговли США. Он оценил 189 систем распознавания лиц, принадлежащих 99 компаниям[291]. Оказалось, что почти во всех случаях уровень ложноположительных результатов был самым низким для европейских лиц и значительно увеличивался для африканских и азиатских. Ожидаемым исключением стали алгоритмы, созданные китайскими компаниями, которые давали самые точные результаты в отношении выходцев из Восточной Азии. Кроме того, системы лучше работали с мужскими лицами по сравнению с женскими, но здесь расхождение было меньше, чем в случае представителей разных рас.

Снижение точности идентификации небелых рас было существенным. Например, для чернокожего вероятность ложноположительной идентификации в 100 с лишним раз выше, чем для белого. Иными словами, афроамериканец в 100 раз сильнее белого рискует быть ошибочно принятым системой за потенциального правонарушителя и, следовательно, привлечь к своей персоне повышенное внимание полиции. Собственно, это цифровая версия сценария из жизни, прекрасно знакомого афроамериканцам, часто сталкивающимся с навязчивым вниманием охранников в универмагах и подозрительностью кассиров.

Казалось бы, эти проблемы можно решить, просто включив в обучающие выборки больше фотографий людей разного этнического происхождения и пола. Однако компаниям, создающим системы распознавания, зачастую трудно найти высококачественные изображения небелых лиц, полученные этически корректно и с согласия людей, иными словами, не надерганные из соцсетей, как это сделала Clearview[292]. Определенные решения этой проблемы сами вызывают вопросы, и в этой области компании, готовые преступить этические нормы, могут получить преимущество. В 2018 году китайская компания-«единорог» CloudWalk заключила с властями Зимбабве сомнительный контракт на создание общенациональной системы распознавания лиц. Соглашение предусматривало предоставление CloudWalk доступа к фотографиям граждан Зимбабве и разрешение обучать на них свои алгоритмы. Систему теоретически можно затем использовать в любой стране мира, естественно, без уведомления граждан Зимбабве[293].

Подобные вопросы, как и ситуация с Clearview, однозначно свидетельствуют, что технологию распознавания лиц нельзя оставлять в руках компаний нерегулируемого частного сектора. Правовое регулирование и надзор имеют принципиальное значение. Если бы The New York Times не привлекла всеобщее внимание к Clearview, ее технология применялась бы в обществе совершенно бесконтрольно задолго до того, как люди осознали бы угрозу своим личным данным, которую она несет. Как минимум нам нужны четкие нормы, обеспечивающие непредвзятость используемых алгоритмов, а также гарантии против применения систем слежения, угрожающего неприкосновенности частной жизни.