Убийственные большие данные. Как математика превратилась в оружие массового поражения

Конечно, защитники Больших данных тут же напомнят нам, что человеческий мозг сам включает в себя модели и эти модели зачастую окрашены предрассудками и предвзятостями. Поэтому человеческие суждения – в данном случае оценка учителей – тоже должны проверяться на справедливость. И эти проверки должны быть тщательно разработаны и протестированы именно людьми, а уж потом автоматизированы. Математики вполне могут заняться разработкой моделей, которые помогут учителям измерить собственную эффективность и улучшить ее.

Другие проверки гораздо более сложны. Возьмите, к примеру, модели вероятности криминального рецидива, которыми руководствуются судьи во многих штатах, готовясь вынести приговор. Из-за относительной новизны этих моделей нам пока сложно сравнивать «до» и «после». Изменилась ли статистика приговоров с тех пор, как они стали получать рекомендации от ОМП? Мы обнаружим, без всякого сомнения, что какое-то число судей имело в голове те же опасные модели задолго до появления ПО – и наказывало бедняков и представителей меньшинств более строго, чем остальных преступников. В некоторых из этих случаев, возможно, модель может смягчить их суждения. В других случаях – нет. По мере роста количества информации закономерности станут более ясными и позволят нам оценить мощность и направленность ОМП.

Если мы обнаружим (а исследования это уже показали), что модели рецидивизма кодифицируют предрассудки и наказывают бедных, значит, настало время изучить вводную информацию. В данном случае модели предсказывают поведение отдельного человека по принципу «одного поля ягоды» – по аналогии с людьми, с которыми он знаком, по месту его работы и кредитному рейтингу, то есть по критериям, которые бы не принял к рассмотрению ни один суд. Справедливость требует, чтобы эту информацию исключили. Постойте, скажут нам, вы что, собираетесь пожертвовать точностью модели ради справедливости? В самом деле, стоит ли намеренно притуплять наши алгоритмы?

В некоторых случаях – да. Если мы хотим равенства перед законом, хотим равенства в качестве избирателей, то мы не можем защищать системы, которые распределяют нас в разные касты и с каждой обращаются по-разному. Amazon и Netflix вправе раскладывать своих клиентов по сколь угодно малым группам и продавать им все что угодно. Но аналогичный алгоритм не может обеспечивать справедливость или демократию.

Движение по направлению к ревизии алгоритмов уже набирает обороты. Исследователи из Принстонского университета, например, запустили программу по изучению прозрачности и ответственности в Сети. Созданные ими боты «притворяются» людьми самых разных социологических типов – богатыми, бедными, мужчинами, женщинами, людьми с нестандартной психикой. Анализируя, как относятся к этим ботам поисковые системы и сайты по трудоустройству, можно обнаружить порочные детали моделей. Подобные проекты разрабатываются и в других академических учреждениях – университете Карнеги – Меллон и Массачусетском технологическом институте.

Научная поддержка подобных инициатив имеет огромное значение. В конце концов, чтобы обезвредить оружие математического поражения, нам нужны люди, умеющие создавать такое оружие. Такие люди способны извлечь из моделей ОМП достаточно большие массивы данных, чтобы можно было выявить несправедливости и другие перекосы, заложенные в модели. Имеет смысл запустить краудсорсинговые кампании, чтобы люди по всей стране могли в деталях рассказать о том, какие послания они получают от рекламщиков или политиков. Это может высветить методы и стратегии кампаний микротаргетирования.

Не все эти кампании обязательно порочны. Например, после президентских выборов 2012 года компания ProPublica проанализировала таргетированные политические обращения, использовавшиеся в ходе кампании за избрание Обамы. Разные группы, как выяснилось, слышали хвалебные высказывания о президенте от разных знаменитостей – каждое из них, предположительно, было адресовано определенной группе. Предоставив общественности статистическую информацию и развеяв загадочность, окружавшую модель, ProPublica уменьшила (пусть и совсем немного) основания для темных слухов и подозрений. Это уже хорошо.

Если рассматривать математические модели как двигатели цифровой экономики – а во многих аспектах это так и есть, – то в процессе аудита мы открываем капот и демонстрируем, как именно работает этот двигатель. Это принципиально важный шаг – затем нам предстоит снабдить эти мощные двигатели рулем и тормозами.