Nexus

Также стало возможным понять, откуда взялись мифы о расизме. Расизм утверждал, что человечество разделено на расы; что белая раса превосходит другие расы; что любой контакт с представителями черной расы может загрязнить чистоту белых; и что поэтому черным детям следует препятствовать смешиваться с белыми детьми. Это была смесь двух хорошо известных биологических драм, которые часто происходят вместе: "Мы против них" и "Чистота против загрязнения". Почти в каждом человеческом обществе в истории существовала та или иная версия этой биодрамы, и историки, социологи, антропологи и биологи понимают, почему она так привлекательна для людей, а также почему она глубоко порочна. Хотя расизм позаимствовал свою основную сюжетную линию у эволюции, конкретные детали являются чистой мифологией. Нет никаких биологических оснований для разделения человечества на отдельные расы, и нет абсолютно никаких биологических причин считать, что одна раса "чистая", а другая "нечистая".

Американские белые супремасисты пытаются обосновать свою позицию, апеллируя к различным священным текстам, в первую очередь к Конституции США и Библии. Конституция США изначально узаконила расовую сегрегацию и превосходство белой расы, оставив все гражданские права за белыми людьми и разрешив порабощение чернокожих. Библия не только освятила рабство в Десяти заповедях и других многочисленных отрывках, но и наложила проклятие на потомство Хама - предполагаемого прародителя африканцев - сказав, что "низшим из рабов будет он для братьев своих" (Бытие 9:25).

Однако оба эти текста были созданы людьми, а значит, люди могли осознать их происхождение и несовершенство и хотя бы попытаться исправить их ошибки. Люди могут понять политические интересы и культурные предубеждения, которые преобладали на древнем Ближнем Востоке и в Америке XVIII века и которые заставили человеческих авторов Библии и Конституции США узаконить расизм и рабство. Такое понимание позволяет людям либо вносить поправки в эти тексты, либо игнорировать их. В 1868 году Четырнадцатая поправка к Конституции США предоставила равную правовую защиту всем гражданам. В 1954 году Верховный суд США в своем знаковом решении по делу "Браун против Совета по образованию" постановил, что сегрегация школ по расовому признаку является неконституционным нарушением Четырнадцатой поправки. Что касается Библии, то, хотя не существует механизма, позволяющего внести изменения в Десятую заповедь или Бытие 9:25, люди на протяжении веков по-разному интерпретировали этот текст и в конце концов полностью отвергли его авторитет. В деле "Браун против Совета по образованию" судьи Верховного суда США не сочли нужным принимать во внимание библейский текст.

Но что может произойти в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в просьбе записаться в школу с высоким кредитом? Как мы видели в главе 8, компьютеры, скорее всего, будут страдать от собственных предубеждений и изобретать межкомпьютерные мифологии и фиктивные категории. Как люди смогут выявлять и исправлять такие ошибки? И как судьи Верховного суда из плоти и крови смогут принимать решения о конституционности алгоритмических решений? Смогут ли они понять, как алгоритмы приходят к своим выводам?

Это уже не чисто теоретические вопросы. В феврале 2013 года в городе Ла-Кросс, штат Висконсин, произошла перестрелка на автомобиле. Позднее полицейские заметили автомобиль, участвовавший в стрельбе, и арестовали водителя, Эрика Лумиса. Лумис отрицал свою причастность к стрельбе, но признал себя виновным по двум менее тяжким обвинениям: "попытка скрыться от сотрудника дорожной полиции" и "управление транспортным средством без разрешения владельца".26 Когда судье предстояло определить меру наказания, он обратился к алгоритму под названием COMPAS, который Висконсин и некоторые другие американские штаты использовали в 2013 году для оценки риска повторного совершения преступления. Алгоритм оценил Лумиса как человека с высоким риском, который, скорее всего, совершит больше преступлений в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.

Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.