Искусственный интеллект. Большие данные. Преступность

Все было хорошо до тех пор, пока известный портал Propublica.org не опубликовал статью, привлекшую внимание всех США. Портал является электронной площадкой сообщества исследователей, негативно относящихся к ИИ. Группа известных математиков и программистов, входящих в сообщество, детально проанализировала систему COMPAS и смогла расшифровать черный ящик. Математические правила и закономерности, получившиеся в результате работы нейронных систем, удалось перевести на так называемый человекочитаемый язык. По итогам этой работы было установлено, что система априори уменьшает шансы на освобождение под залог и условно-досрочное освобождение лиц латиноамериканского происхождения, не имеющих легального статуса на территории США, а также афроамериканцев с уровнем дохода выше прожиточного минимума, но ниже среднего класса. Если первый вывод совпадал с интуицией, то второй породил всеобщее недоумение. Эксплуатация системы в результате разразившегося скандала была приостановлена.

Создатели программы COMPAS предложили порталу Propublica создать независимую группу – своего рода первый в истории Америки алгоритмическо-статистический суд, под руководством математического директора Google Абэ Гонга. Группа в течение нескольких месяцев детальнейшим образом анализировала человекочитаемые правила, выработанные нейронными сетями, и сравнивала их с массивами статистических данных, характеризующих статистику преступности. В сентябре 2016 г. группа вынесла вердикт, с которым согласились и создатели COMPAS, и портал Propublica. Абэ Гонг подтвердил, что алгоритмы COMPAS по построению нейронных сетей и глубокому обучению – математически безупречны. Безупречна также программа и в статистическом смысле. Статистическая безупречность означает то, что нейронным сетям удалось установить наиболее точную зависимость между входными данными и выходными. Т. е. между данными, представляющими профиль того или иного индивидуума и критериями риска.

Все рекомендации COMPAS были верны в инженерном смысле этого слова. COMPAS действительно минимизировал число условно-досрочных освобождений, после которых нарушители закона вновь совершали преступления, а также правильно определял, в каких случаях человека можно отпустить под залог, а в каких – лучше оставить за решеткой.

Вся проблема в том, что в основе деятельности COMPAS лежат статистические закономерности. Люди же привыкли принимать решения не только на основе статистики, но и, принимая во внимание ценностные критерии так, как они их понимают. COMPAS оказался негативно пристрастным к этническим меньшинствам, но при этом делал это на основе корректной интерпретации реальных данных.

Британский психолог Томас Хиллс полагает, что алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит, мы называем это суеверием.

На практике, пишет Хиллс, алгоритмы часто представляют собой проприетарные черные ящики, обновление которых запрещается законами коммерции. В книге «Оружие массового поражения» Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом, жить в местах с повышенным уровнем преступности, в окружении других бедных людей с похожими проблемами. Из-за этого алгоритмы выбирают этих людей в качестве целей обманчивой рекламы, питающейся их отчаянием, предлагают им субстандартные займы, отправляют в районы их проживания больше полицейских, увеличивая вероятность того, что полиция задержит их за совершение преступлений, которые происходят с той же частотой и в более богатых районах. Алгоритмы, используемые системой правосудия, назначают таким людям большие сроки, уменьшают их шансы на условно-досрочное освобождение, блокируют для них вакансии, увеличивают проценты по ипотеке, требуют большие взносы за страховку и т. д.

Этот алгоритмический замкнутый круг скрыт в матрешках, состоящих из черных ящиков: алгоритмы-черные ящики, прячущие процесс обработки в своих мыслях высших измерений, к которым у нас нет доступа, спрятаны в черных ящиках проприетарных прав на алгоритмы.