Убийственные большие данные. Как математика превратилась в оружие массового поражения

Впрочем, абсолютное большинство администраторов колледжей не стали прибегать к столь вопиющим способам повышения своего рейтинга. Вместо обмана они изо всех сил работали над тем, чтобы улучшить каждый из показателей, включенных в рейтинг. Они могли бы сказать, что это самое эффективное использование их ресурсов. В конце концов, если их работа удовлетворит алгоритм U. S. News, значит, они соберут больше денег, привлекут более ярких студентов и преподавателей, продолжат путь к верхним строчкам списка. Разве у них есть иной выбор?

Роберт Морс, работающий в журнале с 1976 года и отвечающий за рейтинг колледжей, постоянно указывает в интервью, что рейтинг заставляет колледжи ставить перед собой осмысленные цели. Если они смогут улучшить результаты выпуска или объединить студентов в меньшие группы, это только к лучшему. Образование выиграет от сосредоточения усилий. Морс признает, что самые релевантные данные – чему именно студенты научились в том или ином вузе – журналу недоступны, тем не менее модель U. S. News, основанная на допущениях, является лучшей из возможных.

Однако, когда вы создаете модель из прокси, людям гораздо легче ее обыграть. Это происходит потому, что допущениями легче манипулировать, чем сложной реальностью, которую они подменяют. Вот пример. Давайте представим себе, что некий сайт ищет специалиста по работе с социальными сетями. Многие люди желают устроиться на эту работу, они присылают резюме с перечислением множества маркетинговых кампаний, которые они проводили. Но на то, чтобы отследить и оценить всю их работу, требуется слишком много времени. Поэтому менеджер по приему на работу сотрудников решает применить прокси: она обращает внимание на то, у кого из претендентов больше всего фолловеров в Twitter. Это же признак вовлеченности в социальные сети, не так ли?

Да, это кажется достаточно разумным допущением. Но что произойдет, если информация о том, что толпа фолловеров в «Твиттере» – гарантия получения работы в данной компании, станет общеизвестной (а это, несомненно, произойдет)? Тогда кандидаты будут делать все, чтобы увеличить их число. Некоторые заплатят 19,95 доллара какому-нибудь сервису, который организует им тысячи фолловеров – в основном ботов. Когда люди обыгрывают систему, прокси теряет свою эффективность. Обманщики выдают ложноположительный результат.

В случае с рейтингом U. S. News все – от перспективных студентов и выпускников до сотрудников кадровых отделов – быстро приняли рейтинг в качестве стандарта качества образования. И колледжи стали играть по этим правилам. Они пытаются улучшить каждый из параметров, измеряемых моделью подсчета. И многие на самом деле были более всего разочарованы именно теми 25 % оценок, повлиять на которые было не в их власти, – то есть данными анкет, заполняемых президентами и проректорами колледжей.

Эта часть анализа, как и любое собрание субъективных мнений, не может не содержать старомодных предубеждений и простого невежества. И у нее есть тенденция удерживать знаменитые вузы наверху списка, потому что широкая публика знает только о них. А для вузов, которые еще только стремятся вверх, ситуация лишь усложняется.

К 2008 году Техасский христианский университет (TCU) в Форт-Уэрте сильно упал в рейтинге U. S. News. За три года до этого университет занимал 97-е место, а затем скатился до 105-го, 108-го – и, наконец, до 113-го. Это обстоятельство сильно встревожило активных выпускников и тех, кто поддерживал университет, и поставило ректора Виктора Боскини в крайне сложное положение. «Это совершенно непонятная ситуация», – заявил ректор в интервью tcu360.com, новостному сайту университета. Боскини настаивал, что на самом деле университет улучшил каждый свой показатель: «Мы улучшили коэффициент удержания студентов, объемы привлеченных средств – словом, все показатели, на которые они ориентируются».

В своем анализе ситуации Боскини не учел два фактора. Во-первых, рейтинговая модель U. S. News не оценивала каждый колледж в отрыве от других. Учебное заведение, которое улучшало свои показатели, могло все равно опускаться в рейтинге, если конкуренты улучшали свои показатели быстрее. Говоря академическим языком, модель U. S. News распределяла колледжи по кривой Гаусса. И это подпитывало процесс, который можно было сравнить с гонкой вооружений.

Другой проблемой была репутация – то есть те самые 25 процентов, которые TCU не мог контролировать. Рэймонд Браун, декан по вопросам приема студентов, отмечал, что репутация – самый весомый фактор, «что абсурдно, потому что это совершенно субъективные оценки». Уэс Вэггонер, директор по делам первокурсников, добавил, что колледжи рекламируют себя друг другу, чтобы улучшить репутационный рейтинг. «Я постоянно получаю по почте послания, в которых другие колледжи пытаются убедить нас в том, что они хорошие», – сказал он.