Общество контроля. Как сохранить конфиденциальность в эпоху тотальной слежки

Работа Дрессель и Фарид поднимает два важных вопроса об алгоритмах, предсказывающих рецидивизм. Первый касается ценности. Алгоритм COMPAS учитывает 137 факторов, включая ответы испытуемых на такие вопросы, как сколько ваших друзей/знакомых незаконно принимают наркотики? как часто вы дрались в школе? и согласны ли вы с утверждением, что у голодного человека есть право на кражу? Как именно программа взвешивает эти факторы – коммерческая тайна.

Алгоритмы Дрессель и Фарид показали такую же производительность, как и алгоритмы COMPAS, хотя знали всего семь параметров, взятых из уголовных дел. Затем исследовательницы еще больше сократили число параметров и в итоге обнаружили, что сочетание всего двух – возраста и количества предыдущих судимостей – дает результаты с такой же точностью, что и программа COMPAS. Исследование, проведенное пятью учеными во главе с Синтией Рудин, профессором компьютерных наук из Университета Дьюка, пришло к аналогичному выводу: учет всего трех факторов – возраста, числа судимостей и пола – дал результаты столь же точные, как у COMPAS[180].

Это в принципе неудивительно: если вы молоды и склонны нарушать закон, вы, вероятно, совершите больше преступлений, чем более старший и законопослушный человек. Но это ставит под сомнение ценность программной оценки рисков: нет уверенности, что программы будут справляться с этим заданием лучше, чем люди, и получать более точные результаты. Вопрос, который должны задать себе полицейские менеджеры по закупкам и другие сотрудники уголовного правосудия, заключается в следующем: если алгоритм предсказывает рецидивы чуть менее точно, чем случайная группа из 20 человек, и их точность достижима при использовании всего двух легко доступных факторов, должны ли штаты и округа действительно тратить деньги налогоплательщиков на покупку таких программ?

Второй вопрос касается справедливости и выбора: какая правовая система, по мнению людей, должна судить их самих и их знакомых? В 2013 году судья в Висконсине, частично полагаясь на оценку рисков COMPAS, приговорил обвиняемого по имени Эрик Лумис к шести годам тюремного заключения и освободил еще пять человек под подписку о невыезде. Лумис подал в суд, утверждая, что использование COMPAS – алгоритма, который выносит решение с помощью секретной методологии, – нарушило его процессуальные права. Суд первой инстанции и Верховный суд штата Висконсин вынесли решение против него. Но второй суд постановил, что программно вычисляемые оценки риска сами по себе не могут определять приговор. И судей, которые их используют, должны предупреждать, что такие алгоритмы непрозрачны, не индивидуализированы и могут быть несправедливыми по отношению к небелым обвиняемым[181].

Все эти факторы противоречат чувству справедливости либерального общества. Одним из наиболее фундаментальных прав в англо-американской судебной системе является право человека открыто противостоять своему обвинителю. Непрозрачные алгоритмы оценки рисков не полностью нарушают это право – они просто оценивают риск, сами по себе не обвиняют и не выносят суждений. Но они предоставляют выводы, не подлежащие сомнению, и тем самым подходят ближе к нарушению этого права, чем многим хотелось бы. Они также могут препятствовать пересмотру дел в апелляционном порядке. Судья должен обосновать свое решение, в то время как алгоритм, работающий по принципу черного ящика, этого не делает. Даже если апелляционный суд знает, какие факторы учитывал алгоритм, остается неясным, как они взаимодействовали и взвешивались. И с какой целью? Похоже, что программа работает не лучше, чем группа случайным образом выбранных людей. Кроме того, точность и людей, и алгоритмов достигает максимума примерно в 66 %, что не так уж и много: такой результат на школьном экзамене принес бы ученику двойку. Действительно мы именно этого и хотим от нашей системы правосудия?

Полицейские алгоритмы прогнозирования вызывают аналогичные опасения. Как объяснил мне Уильям Айзек, ученый-исследователь искусственного интеллекта, фундаментальная проблема заключается в том, что сообщения о преступлениях – это не перечень всех преступлений. Когда вы прогнозируете, где произойдет преступление, основываясь на сообщениях о преступлениях, вы вводите институциональные предубеждения. Полицейские патрули не везде присутствуют в одинаковом количестве. Как правило, присутствие правоохранителей наиболее заметно в бедных районах, где проживают в основном меньшинства.

Более высокие показатели преступности и арестов в этих районах отражают способ, каким полиция распределяет по городу свои силы, а это распределение сил, в свою очередь, отражает ожидания и предпочтения социума. И когда вы обучаете алгоритм на данных, полученных в результате этих решений, алгоритм просто воспроизводит одну и ту же тенденцию.