Голая статистика. Самая интересная книга о самой скучной науке

Результаты сдачи экзаменов могут служить объективным показателем успеваемости учащихся. Тем не менее мы знаем, что некоторые ученики сдают стандартизованные тесты лучше своих сверстников по причинам, не имеющим ничего общего с тем, что происходит в стенах конкретного класса или школы. Казалось бы, самым простым решением здесь стало бы оценивание школ и преподавателей на основе прогресса, которого добиваются учащиеся за определенный период времени. Как изменились их знания с момента начала их занятий в определенном классе у конкретного преподавателя? Какими они были год назад? Разница между этими объемами знаний представляет собой «добавленную стоимость» соответствующего класса.

Чтобы получить более точное представление об этой «добавленной стоимости», мы можем воспользоваться статистическими инструментами, приняв во внимание демографические характеристики учащихся в конкретном классе, такие как расовая принадлежность, уровень дохода в семье и успеваемость по другим тестам (что может быть показателем сообразительности). Если преподаватель добился значительных успехов в работе с учащимися, которые не блистали знаниями в прошлом, то его следует считать весьма эффективным.

Вот так-то! Теперь мы можем оценить качество учителя со статистической точностью. А хорошие школы – это, безусловно, школы, где работают такие учителя.

Как эти удобные статистические оценки функционируют на практике? В 2012 году городские власти Нью-Йорка проявили инициативу и опубликовали рейтинги всех 18 000 преподавателей государственных школ на основе «оценки добавленной стоимости», измеренной по результатам сдачи экзаменов учениками с учетом их различных характеристик{106}. Газета Los Angeles Times опубликовала аналогичную совокупность рейтингов преподавателей Лос-Анджелеса в 2010 году.

И в Нью-Йорке, и в Лос-Анджелесе реакция на эти публикации была бурной и противоречивой. Арни Дункан, министр образования США, в целом поддержал такого рода оценки на основе «добавленной стоимости», заявив, что они хороши хотя бы тем, что позволяют получить какую-то информацию в областях, где раньше ее вообще не было. После публикации данных по Лос-Анджелесу Арни Дункан сказал газете The New York Times: «Молчание – это вообще не вариант». Администрация Обамы предоставила штатам финансовые средства для разработки показателей добавленной стоимости, на основе которых можно было бы оплачивать труд преподавателей и продвигать их по службе. Сторонники данных способов оценивания подчеркивают, что это огромный шаг вперед по сравнению с системами, в которых труд всех преподавателей оплачивается в соответствии с единой шкалой окладов, не учитывающей такие «мелочи», как профессионализм.

С другой стороны, многие эксперты предупреждают, что подобные системы оценивания характеризуются большими допустимыми пределами погрешности и могут давать ошибочные результаты. Профсоюз преподавателей Нью-Йорка потратил более 100 000 долларов на рекламную кампанию в газетах, проводившуюся под лозунгом «Так оценивать работу преподавателей нельзя»{107}. Оппоненты утверждают, что «оценивание добавленной стоимости» создает ложное впечатление высокой точности, причем такие оценки могут вольно трактоваться родителями и государственными чиновниками, не понимающими ограничений подобного оценивания.

Похоже, это тот самый случай, когда правы – в определенной степени – и те и другие. Даг Стайгер, экономист Дартмутского колледжа, широко использующий в работе данные «добавленной стоимости» преподавателей, предостерегает, что в этих данных, в силу самой их природы, многовато «шума». Результаты по конкретному учителю зачастую основываются на результатах одного экзамена. При этом действие множества разнообразных факторов – от особенно «трудной» группы учащихся до сломавшегося в день сдачи экзамена кондиционера в классе – может вести к флуктуациям. Корреляция в эффективности отдельно взятого преподавателя, которая использует эти индикаторы, от года к году составляет лишь 0,35. (Интересно, что корреляция в эффективности игроков Высшей бейсбольной лиги от года к году также составляет примерно 0,35; для хиттеров она измеряется средним уровнем достижений, а для питчеров – средним числом зачетных перебежек.){108}