Если бы это была программа выявления потенциальных преступников, вы бы сразу увидели, какой она могла бы быть несправедливой. То, что родитель жил в детстве у временных приемных родителей или проживает с партнером, не должно быть поводом для подозрений. Более того, эта модель с гораздо большей вероятностью выявит бедняков – и пропустит потенциальные случаи насилия в богатых районах.
Однако если поставить целью не наказание родителей, а помощь детям, то потенциальное оружие математического поражения превращается в полезный инструмент. За два года, прошедшие с начала применения модели, в округе Хиллсборо, по данным газеты
Модели, подобные этой, в изобилии появятся в будущем. Они будут оценивать наш риск заболеть остеопорозом или получить инсульт, поспешат на помощь студентам, готовящимся к экзамену, и даже предскажут, кто с большей вероятностью пострадает от серьезных жизненных неудач. Многие из этих моделей, как и некоторые из видов ОМП, которые мы обсуждали, будут созданы из самых лучших побуждений. Но они должны также быть прозрачными: наглядно демонстрировать, какая именно информация в них заложена, а также раскрывать полученные результаты. В конце концов, это мощные механизмы – и мы должны за ними присматривать.
Данные никуда не денутся. Как и компьютеры, и, конечно, математика. Предиктивные модели все чаще будут становиться инструментами, которые мы используем, чтобы управлять нашими институтами, расходовать наши ресурсы и организовывать наши жизни. Но, как я пыталась показать на протяжении всей книги, эти модели сконструированы не только из данных, но и из нашего человеческого выбора – на что обратить внимание в этих данных, а какие из них пропустить. Этот выбор касается не только логистики, выгоды и эффективности. Он покоится на морали.
Если мы от этого отойдем и будем относиться к математическим моделям как к нейтральной и неизбежной силе, вроде погоды или приливов, мы тем самым откажемся от ответственности. И результатом станет, как мы уже видели, оружие математического поражения, которое обращается с нами как с винтиками механизма, карает работников и паразитирует на неравенстве. Мы должны объединиться, чтобы контролировать это оружие и обезвредить его. Я надеюсь, что о нем будут вспоминать как о смертельно опасных шахтах прошлых столетий – как о реликтах ранних дней новой революции, когда мы еще не научились делать Большие данные справедливыми и подотчетными. Математика заслуживает гораздо большего, чем оружие математического поражения, – и демократия тоже.
Примечания
Вступление
С. 14 …
С. 15
206 Low-Performing D. C. Teachers Fired // Washington Post. 2011. July 15. www.washingtonpost.com/local/education/206-low-performing-dc-teachers-fired/2011/07/15/gIQANEj5GI_story.html.
С. 17