Шум. Несовершенство человеческих суждений

Исследователи также использовали алгоритм для построения модели каждого судьи, аналогичной описанной в главе 9 (однако не ограниченной простыми линейными комбинациями). Применение этих моделей ко всему массиву данных позволило команде симулировать решения судей, которые они вынесли бы при рассмотрении тех же самых дел, и сравнить с реальными. Результаты выявили существенный системный шум в решениях об освобождении под залог. Отчасти это межэкспертный шум: если судей отсортировать по степени их благосклонности, наиболее снисходительный квинтиль[10] (20 % судей, которые отпускают под залог чаще всего) освобождал 83 % обвиняемых, в то время как наименее снисходительный квинтиль – всего 61 %. Кроме того, оценивая риск побега заключенных, судьи будто судили их по разным шаблонам. Одному судье конкретный подсудимый не показался склонным к побегу, в то время как другой, в целом совсем не строгий, определил его в группу высокого риска. Эти результаты свидетельствуют о явном присутствии внутриэкспертного шума. Более детальный анализ выявил, что различия между прецедентами составили 67 % от всех расхождений, а системный шум – 33 %. Некоторую долю системного шума составлял¹²⁸ межэкспертный шум, например, обусловленный неодинаковой строгостью судей, однако большей частью (79 %) это был внутриэкспертный шум.

Наконец – и к счастью – бóльшая точность программ на основе методов машинного обучения достигается не за счет других поддающихся учету целей, которых могут добиваться судьи, в особенности расовой справедливости. Теоретически, хотя в алгоритм не заложены данные о расе обвиняемых, программа может непреднамеренно усугублять расовое неравенство. Оно может возникнуть, если модель использует прогностические факторы, в сильной степени коррелирующие с расой (например, почтовый индекс), или необъективен источник данных, на котором обучался алгоритм. Если, к примеру, прогностический фактор – количество предыдущих арестов, а эти аресты производились на почве расовой дискриминации, то и алгоритм в результате получится дискриминационным.

Несмотря на то что риск дискриминации в принципе присутствует, решения на основе алгоритма во многих важных аспектах содержат как раз меньше расовых предубеждений, чем судейские решения. Например, если порог риска установлен так, чтобы получить такой же уровень преступности, каким он был бы при судейских решениях, алгоритм отправит за решетку на 41 % меньше цветных. Похожие результаты обнаружены и в других сценариях: выигрыш в точности не влечет за собой обострения расовой дискриминации – и, как показали исследователи, алгоритм можно легко запрограммировать на ее сокращение.

Еще одно исследование в другой области иллюстрирует, как алгоритмы могут одновременно повышать точность и сокращать дискриминацию. Бо Каугилл, профессор Колумбийской школы бизнеса, изучал набор инженеров-программистов¹²⁹ в крупной технологической компании. Вместо того чтобы поручить человеку на основе резюме отобрать кандидатов на собеседование, Каугилл разработал алгоритм сортировки резюме и обучил его на более чем трехстах тысячах заявлениях, которые компания получила и приняла к рассмотрению ранее. Кандидатов, которым по результатам собеседования предложили работу, среди отобранных алгоритмом оказалось на 14 % больше, чем среди отобранных специалистами кадровой службы. А когда им предложили работу, из первой группы приняли на 18 % больше человек, чем из второй. Алгоритму также предложили более пеструю группу кандидатов, различающихся по расе, полу и другим показателям; тут была бóльшая вероятность выбрать «нетрадиционных» соискателей – тех, кто не окончил элитную школу, не имел опыта работы, не предоставил рекомендаций. Люди больше отдавали предпочтение резюме, авторы которых поставили галочки напротив всех типовых для инженера-программиста пунктов анкеты, однако алгоритм присвоил каждому существенному фактору должный вес.

Конечно, данные примеры еще не доказывают, что алгоритмы всегда честны, беспристрастны и свободны от дискриминации. Мы рассмотрели на хорошем примере алгоритм, призванный прогнозировать успех кандидатов, однако в действительности он обучен на выборке прошлых кадровых решений и, само собой, будет повторять все человеческие предпочтения.

К тому же представляется возможным, причем довольно легко, построить алгоритм, который увековечивает расовое или гендерное неравенство; прецедентов создания именно таких алгоритмов немало. Очевидность подобных случаев объясняет растущее беспокойство по поводу искажений в принятии решений на основе формул. Тем не менее, прежде чем делать общие выводы, следует помнить, что иной алгоритм не только точнее человека, но еще и честнее.

Почему мы не так часто используем правила?