Голая статистика. Самая интересная книга о самой скучной науке

По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News World Report, – даже когда соответствующие данные не поддерживают такую точность.

Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные?{109}

Ответ: профессора с меньшим опытом преподавательской работы и меньшим числом научных степеней от новомодных университетов. Студенты таких профессоров, как правило, очень позитивно отзываются о них и демонстрируют более высокие результаты сдачи стандартизированных тестов по вводным курсам. Понятно, что эти молодые и мотивированные преподаватели относятся к своей работе с большим энтузиазмом, чем старые, «замшелые» профессора с докторскими степенями от престижных университетов (например Гарвардского). Не исключено, что эти «старые зубры» все еще пользуются теми же пожелтевшими от времени конспектами лекций, что и в далеком 1978 году; возможно, они полагают, что PowerPoint – это нечто вроде энергетического напитка (правда, они могут и не знать, что это такое). Очевидно, эти данные говорят нам о том, что этих «динозавров» давно пора уволить или по крайней мере предоставить им шанс красиво уйти со сцены.

Впрочем, не будем торопиться. И спешить с увольнениями. Опыт Академии ВВС США позволил сделать еще один важный вывод – об успеваемости студентов на более протяженном горизонте. Скотт Каррелл и Джеймс Уэст выяснили, что в области математики и точных наук студенты, у которых были более опытные (и более титулованные) преподаватели вводных курсов, демонстрируют лучшую успеваемость в последующих обязательных курсах, чем студенты, обучавшиеся у менее опытных преподавателей вводных курсов. Одно из логических объяснений заключается в том, что менее опытные преподаватели в большей степени склонны «натаскивать на экзамен» по соответствующему вводному курсу. Это приносит впечатляющие результаты на экзаменах и моральное удовлетворение студентам, что выливается в высокие оценки, которые они выставляют своим преподавателям.

Между тем, старые замшелые профессора (которых мы уже были готовы уволить) уделяют меньше внимания экзаменам, сосредоточиваясь на важных положениях своего курса, что положительно влияет на успеваемость студентов в процессе прохождения ими последующих обязательных курсов, а также в их практической деятельности по завершении учебы в Академии ВВС США.