Убийственные большие данные. Как математика превратилась в оружие массового поражения

Система регулирования ОМП могла бы измерять подобные скрытые убытки. Это уже используется в других типах государственного вмешательства. Хотя экономисты могут попытаться подсчитать, во что обходится обществу загрязнение воздуха или сельскохозяйственные стоки, эти цифры никогда не опишут подлинный урон. И то же самое часто касается справедливости и общественной пользы в математических моделях. Это концепции, которые могут существовать только в человеческом сознании, – и их невозможно точно подсчитать. При этом люди, которые занимаются созданием моделей, редко даже пытаются делать такие подсчеты – это считается слишком сложным. Но нам необходимо включить человеческие ценности в эти системы, даже ценой снижения эффективности. Например, модель может быть запрограммирована так, чтобы представители разных этнических групп или разных уровней дохода были справедливо представлены в рядах избирателей или потребителей. Или она может протоколировать случаи, когда люди в определенных районах проживания платят в два раза дороже за определенные услуги. Эти приближения могут быть грубыми, особенно поначалу, но они необходимы. Математические модели должны быть нашими инструментами, а не нашими хозяевами.

Разрыв в уровне школьной успеваемости, большое число заключенных в тюрьмах и апатия избирателей – все это серьезные национальные проблемы, которые не решит ни свободный рынок, ни математические алгоритмы. Поэтому первым делом следует взяться за нашу технологическую иллюзию – безграничную и безосновательную веру в то, что алгоритмы и технологии могут все. Прежде чем просить их исправить какую-то ситуацию, нам нужно признать, что они не всесильны.

Чтобы обезвредить ОМП, нам также нужно оценить его влияние, а для этого необходим аудит алгоритмов. Первый шаг здесь – провести исследования. Давайте представим себе ОМП как черные ящики, которые перерабатывают загруженную в них информацию и выдают заключения. Вот у этого заключенного преступника средняя вероятность рецидива в будущем, этот гражданин с 73-процентной вероятностью будет голосовать за республиканцев, а рейтинг вон того учителя – в нижней десятке. Изучив эти выводы, мы сможем собрать воедино все погрешности модели и оценить ее справедливость.

Иногда с самого начала становится совершенно понятно, что определенные виды оружия математического поражения нужны лишь для того, чтобы легче увольнять целые группы людей, а другим предлагать скидки. Модель оценки коэффициента роста знаний учеников, принятая в нью-йоркских общеобразовательных школах, например, – та самая модель, которая присудила Тиму Клиффорду катастрофические шесть баллов, а на следующий год триумфальные 96 баллов, – это не что иное, как статистический фарс. Если мы расположим результаты, которые учителя получают в разные годы, на графике, точки будут расположены примерно так же хаотично, как атомы водорода в комнате. Даже многие школьники, изучающие в этих самых школах математику, взглянув на подобную «статистику», с уверенностью сказали бы, что такие результаты не означают просто ничего. В конце концов, хорошие учителя обычно бывают хорошими и в этом году, и в следующем. В отличие от, допустим, игроков в бейсбол, они редко чередуют удачные сезоны с провальными (и еще одно отличие учителей от бейсболистов заключается в том, что работа первых плохо поддается количественному анализу).

Подобную негодную модель невозможно исправить. Единственный выход в таком случае – вообще отказаться от несправедливой системы. Давайте забудем по крайней мере на 10–20 лет об инструментах для измерения эффективности учителя. Это слишком сложная задача для моделирования, и у нас нет для этого достаточно точной информации, только грубые приближения. Модель просто пока недостаточно хороша для того, чтобы принимать важные решения о людях, которым мы доверяем образование наших детей. Эта работа требует комплексного подхода с учетом сложного контекста. Даже в эпоху Больших данных такие проблемы умеют решать только люди.

Конечно, аналитики должны рассматривать множество данных, включая и результаты тестов учеников. Они должны включать в свой анализ благотворные петли обратной связи (этих «добрых кузенов» тех губительных петель обратной связи, с которыми мы так близко познакомились). Благотворная обратная связь просто предоставляет информацию специалисту по данным (или автоматической системе), чтобы модель могла быть улучшена. В этом случае достаточно будет просто опросить как учителей, так и учеников, имеют ли для них смысл эти рейтинги; понимают ли и принимают ли они стоящие за рейтингами критерии. Если не понимают и не принимают – то как это можно улучшить? Только когда мы получим экосистему с благотворной обратной связью, мы сможем ожидать, что данные помогут улучшить работу учителей. А до тех пор система имеет только карательную функцию.