God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning

Аналогичные алгоритмы используются при вынесении приговоров, определяя степень угрозы для общества и риск побега обвиняемого перед вынесением приговора. Эти машины сканируют данные из картотеки обвиняемых, включая подозреваемое преступление, количество предыдущих арестов и место ареста (некоторые модели также учитывают место работы подозреваемого, знакомых и его кредитный рейтинг), затем сравнивают эти данные с сотнями и тысячами судимостей и присваивают обвиняемому балл риска, который используется для определения того, где он должен ожидать суда - дома или в тюрьме. Подобные алгоритмы впервые попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, тридцатичетырехлетним мужчиной из Висконсина, чей тюремный приговор - шесть лет за уклонение от уплаты налогов - был частично основан на КОМПАСе, прогностической модели, определяющей вероятность рецидива преступлений. Во время судебного заседания судья сообщил Лумису, что по результатам оценки КОМПАС он был отнесен к группе высокого риска для общества. Лумис, естественно, поинтересовался, какие критерии использовались при вынесении приговора, но ему сообщили, что он не может оспорить решение алгоритма. В итоге его дело дошло до Верховного суда Висконсина, который вынес решение не в его пользу. Генеральный прокурор штата утверждал, что Лумис обладал теми же знаниями о своем деле, что и суд (судьи, по его словам, были в равной степени осведомлены о логике алгоритма), и заявлял, что Лумис "был волен подвергнуть сомнению оценку и объяснить ее возможные недостатки". Но это было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же, как Иов был волен подвергнуть сомнению справедливость Иеговы.

Другой, более свежий случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году проходил испытательный срок после отбывания наказания в тюрьме. Он заметил, что частота его обязательных визитов к надзирателю меняется от месяца к месяцу, но ему никогда не говорили, что это происходит потому, что алгоритм постоянно оценивает степень его риска. Возможно, он никогда бы не узнал об этом, если бы журналист New York Times, освещавший эту технологию, не сообщил ему об этом. Гейтс был явно обеспокоен этим открытием. В интервью газете Times он, похоже, осознал теневую грань между предсказанием и решимостью - и невозможность перехитрить игру, в которой все ставки против вас. "Как он собирается понять меня, ведь он диктует мне все, что я должен делать?" - сказал он об алгоритме. "Как выиграть у компьютера, который создан для того, чтобы остановить вас? Как остановить то, что предопределяет вашу судьбу?"

Хотя эти непрозрачные технологии подвергаются нападкам со стороны организаций по защите гражданских прав, их защитники часто указывают на то, что человеческие суждения не более прозрачны. Спросите судью, как она пришла к тому или иному решению, и ее ответ будет не более достоверным, чем ответ алгоритма. Человеческий мозг - это тоже "черный ящик", - говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Тот же вывод был сделан в статье, подготовленной корпорацией Rand, где отмечалось: "Мыслительные процессы судей - это (как и КОМПАС) черный ящик, который выдает непоследовательные решения, склонные к ошибкам". Эти аргументы часто приводят те, кто заинтересован в технологии, хотя их подкрепляет неврологический консенсус, согласно которому у нас нет "привилегированного доступа", как выражается Дэниел Деннетт, к нашему собственному мыслительному процессу. Логическим завершением "черного ящика" человеческого сознания является то, что доверять непрозрачной логике алгоритма теперь представляется столь же разумным, как и доверять собственному разуму.