Убийственные большие данные. Как математика превратилась в оружие массового поражения

Первый вопрос: если участник проверки осведомлен о том, что его проверяют с помощью модели, и о том, для чего будет использован результат проверки, можно ли считать эту модель непрозрачной? Ведь большинство заключенных, заполняющих обязательные анкеты, вовсе не глупы. Они как минимум должны подозревать, что информация, которую они предоставляют, будет использована против них, чтобы контролировать их во время отбывания срока, – эта информация даже может привести к увеличению этого срока. Они знают правила игры. Однако представители тюремной администрации тоже их знают. И они не распространяются о целях LSI-R. Администрация отлично понимает, что в ином случае многие заключенные попытаются обыграть модель, предоставив ответы, в которых они будут выглядеть образцовыми гражданами на момент выхода из тюрьмы. Поэтому заключенных стараются держать в неведении и не раскрывать им степень риска рецидива, которую определила модель в их случае.

В этом тюремные администраторы не одиноки. Непрозрачные модели – это правило, а прозрачные – исключение. Нас моделируют как покупателей и домоседов, как пациентов и заемщиков, но практически никаких из этих результатов мы не видим – даже если сами радостно участвуем в опросах. Даже когда такие модели на самом деле «ведут себя» вполне прилично, их непрозрачность может породить ощущение несправедливости. Если распорядитель в концертном зале сказал вам, что садиться в креслах первых десяти рядов нельзя, вы можете счесть этот запрет необоснованным и несправедливым. Но, вероятно, вы измените свое мнение, если распорядитель объяснит вам, что эти места зарезервированы для людей в инвалидных креслах. Прозрачность имеет большое значение.

При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook, эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?

И здесь тоже модель LSI-R легко квалифицировать как один из видов ОМП. Люди, которые создали этот алгоритм оценки в 1990-е годы, несомненно, рассматривали его как орудие правосудия, укрепляющее эффективность юридической системы. Кроме того, этот алгоритм может помочь правонарушителям, не предоставляющим большой угрозы, получить более легкие приговоры. Это можно перевести в большее количество лет свободы для них и огромную экономию для американских налогоплательщиков, которые оплачивают ежегодный тюремный счет в 70 миллиардов долларов. Однако поскольку анкета делает заключение об осужденном на основании пунктов, которые нельзя предъявить как свидетельства на суде, она несправедлива. И пусть она многим принесет пользу, другие от нее пострадают.

Ключевой компонент этого страдания – губительная петля обратной связи. Как мы уже увидели, модели вынесения приговоров, которые оценивают человека по его или ее личным обстоятельствам, помогают создать окружение, которое оправдывает эти допущения. Эта деструктивная петля продолжает затягиваться, в результате модель становится все более несправедливой.

Третий вопрос – есть ли у модели потенциал экспоненциального роста? Как спросил бы специалист по статистике, может ли она масштабироваться? Это может показаться праздной математической задачкой, но масштаб – именно то, что превращает ОМП из местных неприятностей в настоящее цунами, которое будет влиять на нашу жизнь и определять ее границы. Как мы увидим, развитие ОМП в сферах человеческих ресурсов, здравоохранения и банковского дела (и список этим далеко не ограничивается) быстро расширяет границы, в которых к нам применяется сила, очень похожая на неумолимую мощь закона. Если, к примеру, банковская модель отнесет вас в группу заемщиков высокого риска, то мир будет относиться к вам именно так – как к безнадежному неудачнику, даже если в модель вкралась ошибка. А когда эта модель масштабируется, как это уже случилось с кредитной моделью, она начинает оказывать влияние на всю вашу жизнь – удастся ли вам купить хороший дом, найти хорошую работу или приобрести хорошую машину, чтобы до этой самой работы добираться.