Шум. Несовершенство человеческих суждений

Потенциально высокие издержки стратегий снижения шума нередко возникают при применении алгоритмов, в связи с чем набирают силу протесты, связанные с «алгоритмической предвзятостью». Мы уже убедились, что алгоритмы устраняют шум; поэтому они и выглядят столь привлекательными. Фактически бо́льшую часть настоящей книги читатель может истолковать в качестве аргумента в пользу высокой надежности алгоритмов. Однако мы видели, что снижение шума порой дается слишком высокой ценой: излишняя уверенность в алгоритме повышает уровень дискриминации по расовому и половому признаку либо действует против некоторых социально незащищенных групп населения.

Опасения дискриминационных решений алгоритмов широко распространены, и, без сомнений, подобный (и серьезный) риск имеется. Математик Кэти О’Нил в своей книге «Оружие математического разрушения» настаивает, что излишнее доверие большим данным и заключениям алгоритмов способствует интеграции предрассудков в наши решения⁴⁰¹, увеличивает социальное неравенство и угрожает самому институту демократии. Процитируем еще один скептический отзыв: «Потенциально предвзятые математические модели⁴⁰² изменяют нашу жизнь; ни компании, ответственные за их разработку, ни правительство не заинтересованы в решении данной проблемы». Независимый ресурс журналистских расследований «ProPublica»⁴⁰³ пишет, что COMPAS – алгоритм, широко применяющийся в прогнозировании рецидивизма, – содержит серьезную предвзятость по отношению к национальным меньшинствам.

Не стоит сомневаться в том, что бесшумную модель, полную расовых, гендерных и иных предрассудков, создать несложно. Алгоритмы, явно учитывающие цвет кожи ответчика при определении возможности выпустить того под залог, являются дискриминационными, и использование подобных программ незаконно во многих странах. Алгоритм, опирающийся на прогноз возможной беременности кандидатки на работу, дискриминирует женщин. В этих и подобных им случаях компьютерное моделирование устранит нежелательную вариативность суждений, однако привнесет неприемлемые предубеждения.

В принципе мы способны разработать программу, которая не будет принимать во внимание ни расовую принадлежность, ни пол. На сегодняшний день дискриминационная составляющая алгоритмов, вносящая искажение в механизм решений, стала насущной проблемой, которой уделяют все больше и больше внимания. И дело не только в расовых и гендерных индикаторах. Помимо непосредственной идентификации расы и пола, программа может учитывать рост и вес, которые показывают сильную корреляцию с гендерной принадлежностью, или место рождения и проживания, коррелирующие с расовой принадлежностью. Это первая причина.

Вторая причина заключается в том, что смещение может зародиться на уровне источника данных. Если алгоритм обучается на искаженной информации, он и сам будет искажен. Возьмем алгоритм предиктивной полицейской деятельности⁴⁰⁴, настроенный на прогнозирование преступлений. Нередко его используют для оптимизации рассредоточения полицейских нарядов. Если имеющиеся данные говорят о повышенной криминализации определенных районов или завышают количество определенного вида преступлений, результаты, которые рассчитает алгоритм, возведут данную информацию в принцип, усугубляя дискриминацию. Если в наборе данных для обучения алгоритма присутствует искажение, то программа волей-неволей впитывает дискриминационную информацию. В результате алгоритм, напрямую не учитывающий расовые и гендерные различия, все же развивается с искажениями, свойственными стоящим за ним людям. Более того, в этом смысле алгоритмы⁴⁰⁵ ведут себя даже хуже, чем человек: из-за отсутствия шума их отклонения более вероятны, чем у живых судей.

Многие из нас задаются насущным вопросом: действительно ли алгоритм дифференцированно относится к различным социальным группам? На самом деле настоящая книга не ставит конкретной задачи исследовать⁴⁰⁶ составляющие подобного дифференцированного отношения, искажений и степени справедливости алгоритмов – все это чрезвычайно сложные темы.

Тем не менее, отмечая несомненное превосходство алгоритмов над суждением человека, этот вопрос поднять стоит. Для начала мы рекомендуем тщательно изучить предлагаемый вам алгоритм, с тем чтобы убедиться, что он не натренирован на недопустимых данных, и проверить, не заложен ли в нем дискриминационный механизм. Человека, чьи рассуждения менее ясны, гораздо сложнее подвергнуть подробному анализу: люди порой включают дискриминационный механизм на подсознательном уровне, так что сторонний наблюдатель (в том числе и в судебной системе) не всегда легко различит подобный крен. Следовательно, алгоритм во многих отношениях более прозрачен, чем человек.