Убийственные большие данные. Как математика превратилась в оружие массового поражения

Неравное отношение со стороны владельцев этих ворот распространяется далеко за границы резюме. Наши средства существования все больше зависят от наших способностей договориться с машинами. Самый яркий пример этого – Google. Для любого бизнеса, будь то хостел или авторемонтная мастерская, успех зиждется на способности оказаться на первой странице выдачи по поисковому запросу. Теперь и перед отдельными людьми встает та же задача – будь то возможность попасть на собеседование в какую-нибудь компанию, продвинуться по службе или даже просто не попасть под волну сокращений на работе. Ключ к успеху здесь – найти то, что ищут машины. Но и здесь, во вселенной, которая была создана справедливой, демократичной и научной, инсайдеры находят способы приобрести важные преимущества.

* * *

В 1970-е годы приемная комиссия медицинской школы больницы Святого Георгия на юге Лондона увидела возможность выйти из затруднительной ситуации. Каждый год школа получала более 12 резюме на каждую из 150 вакансий. Просмотр всех этих резюме был трудоемкой работой, требующей большого количества сотрудников. Ситуацию осложняло и то, что у каждого из этих сотрудников были свои мнения и пристрастия. Может быть, удастся запрограммировать компьютер таким образом, чтобы он сортировал резюме и сокращал их количество до более разумных величин?

Большие организации, такие как Пентагон и IBM, к тому времени уже использовали компьютеры для подобной работы. Но для медицинской школы обзавестись собственной автоматической оценивающей программой в конце 70-х, когда Apple только что выпустила свой первый персональный компьютер, было весьма дерзким экспериментом. И этот эксперимент обернулся полным фиаско. Школа Святого Георгия не только опередила время в использовании математического моделирования, но и оказалась невольным пионером производства оружия математического поражения.

Как и в многочисленных случаях с другими видами ОМП, проблемы возникли с самого начала, когда администраторы назначили компьютерной модели сразу две цели. Первая заключалась в том, чтобы увеличить эффективность отбора, взвалив на машину бо́льшую часть рутинной работы. Машина должна была автоматически сократить две тысячи претендентов до пятисот, после чего дело должны были перехватить люди, начав длительный процесс собеседований. Второй целью была справедливость. Компьютер, по идее, должен был оставаться невосприимчивым к настроениям или предубеждениям кадровиков, а также к вмешательству и рекомендациям членов палаты лордов или кабинета министров. В первой, автоматической, сортировке каждый претендент должен был оцениваться по одинаковым критериям.

Какими же должны быть эти критерии? Это казалось самым простым. В школе Святого Георгия уже накопилось множество данных по отсеянным резюме прошлых лет. Надо было лишь научить компьютеризированную систему повторять те же процедуры, которым следовали человеческие существа. Уверена, вы уже догадались, что именно в этих данных заключалась проблема. Компьютер научился у людей дискриминации – и начал осуществлять свою работу с захватывающей дух эффективностью.

Надо отдать должное администрации школы Святого Георгия, не вся дискриминация в наборе данных для программы была откровенно расистской. Значительное количество резюме от претендентов с иностранными именами или иностранными адресами пришло от людей, которые явно не владели английским языком на должном уровне. Вместо того чтобы рассмотреть возможность того, чтобы прекрасные врачи-кандидаты выучили бы английский (что кажется очевидным сегодня), в те годы их предпочитали просто отвергнуть. (В конце концов, школе предстояло отсеять три четверти претендентов, и языковой фильтр казался подходящей начальной точкой.)

Однако если люди в школе Святого Георгия просто выбрасывали в мусор резюме, пестрящие грамматическими и орфографическими ошибками, то компьютер, который и сам не владел грамотой, вряд ли мог последовать их примеру. Однако он мог связать отвергнутые резюме прошлых лет с местами рождения и, в меньшей степени, с фамилиями. Поэтому люди из определенных регионов, таких как Африка, Пакистан или населенные иммигрантами районы в городах Соединенного Королевства, получали меньше баллов при оценивании и, соответственно, не приглашались на интервью. Подавляющее большинство этих людей не были белыми. Кроме того, кадровики-люди чаще отвергали женщин – в связи с повсеместно распространенным в то время убеждением, что их карьеры, скорее всего, будут прерваны из-за обязанностей, связанных с материнством. Компьютер, естественно, стал делать то же самое.

В 1988 году Комиссия по расовому равенству при британском правительстве признала школу Святого Георгия виновной в расовой и гендерной дискриминации при приеме на работу. Шестидесяти из двух тысяч претендентов каждый год, по данным комиссии, могло быть отказано в собеседовании исключительно на основании их расы, этнического происхождения или пола.