Убийственные большие данные. Как математика превратилась в оружие массового поражения

Кого же следовало винить в таком положении вещей? В отчете об этом говорилось однозначно: учителей. Отчет «Нация под угрозой» требовал действий, а именно – тестирования учеников – и использования результатов этих тестов, чтобы выявить недостаточно хороших преподавателей. Как мы уже видели в начале книги, эта практика может стоит учителям их работы. Сара Высоцки, учительница из Вашингтона, уволенная из-за того, что ее класс продемонстрировал на удивление низкие результаты, стала жертвой такого теста. Я использовала эту историю, чтобы показать ОМП в действии – каким оно может быть самовольным, несправедливым и глухим к попыткам обжалования.

Но учителя – это не только люди, которые дают детям образование и заботятся о них. Очевидно, что это еще и работники – и вот здесь я хочу слегка углубиться в модели, оценивающие их работу, потому что они могут распространиться и на другие области, в которых задействована рабочая сила.

Рассмотрим случай Тима Клиффорда. Он – учитель средней школы в Нью-Йорке, преподает английский уже 26 лет. Несколько лет назад Клиффорд узнал, что провалил текст на оценку учителей – в так называемой модели подсчета увеличения коэффициента знаний учеников, сходной с той, которая привела к увольнению Сары Высоцки. Его результат был чудовищным: 6 из 100.

Тим был в отчаянии. «Я не понимал, как это возможно: я так усердно работал все эти годы – и получил такой ужасный результат, – сказал он мне. – Честно говоря, когда я впервые узнал о столь низком результате, я почувствовал стыд и пару дней никому ничего не говорил. Однако я узнал, что в нашей школе два учителя получили еще более низкий результат. Это придало мне смелости признаться в своем: я не хотел, чтобы эти учителя думали, что они такие единственные».

Если бы Клиффорд не занимал постоянную должность в учительском штате, его, как он считает, могли уволить. «Даже с постоянным местом, – сказал он, – низкие результаты тестирования определенно рисуют мишень на спине учителя». Даже с постоянной должностью, с которой невозможно уволить, низкие оценки за тестирование могли бы придать энергии реформаторам, обвиняющим школьную систему в защите некомпетентных преподавателей. Клиффорд начинал следующий учебный год с большими опасениями.

Модель подсчета роста знаний учеников крайне низко его оценила, но не дала никаких советов по улучшению результатов. Поэтому Клиффорд продолжил преподавать так, как всегда делал, с надеждой на лучшее. На следующий год его результат был 96. «Можно было предположить, что я буду в восторге, но это не так, – сказал он. – Я знал, что мой низкий балл – фальшивка, так почему я должен был радоваться высокому баллу, полученному в результате применения той же бракованной формулы? Разница в 90 % в моих результатах только заставила меня убедиться в том, насколько смехотворна модель подсчета увеличения коэффициента знаний, когда речь заходит об образовании».

Фальшивка – удачное слово. На самом деле неверно интерпретированная статистика проходит красной строкой через всю историю оценок учителей. Проблема началась еще с грандиозного статистического ляпа в том самом отчете «Нация под угрозой». Выяснилось, что те самые исследователи, что кричали о национальной катастрофе, основывали свои выводы на фундаментальной ошибке, которая должна быть очевидной даже для студента. На самом деле, если они хотели проиллюстрировать пример образовательных недостатков в Америке, их собственная неспособность правильно интерпретировать статистику могла бы послужить отличным примером.

Через семь лет после сопровождавшейся таким шумом публикации «Нации под угрозой» исследователи из Сандийских национальных лабораторий[14] еще раз взглянули на данные, собранные для отчета. Эти люди не были новичками в области статистики – они занимались созданием компонентов ядерного оружия, – и они быстро нашли ошибку. Да, результаты SAT действительно снизились. Однако число студентов, которые сдавали этот экзамен, резко подскочило за эти 17 лет. Университеты открыли свои двери более бедным студентам и представителям меньшинств. Возможности для таких людей стали шире, и это говорило о социальном успехе. Но, разумеется, такой приток новичков снизил средний балл. Однако когда специалисты по статистике разбили население по группам дохода, результаты для каждой группы, как оказалось, выросли везде, от бедных до богатых.

В статистике этот феномен известен как парадокс Симпсона[15]: когда данные в целом демонстрируют одну тенденцию, однако при разбитии на подгруппы в каждой из этих подгрупп проявляется противоположная тенденция. Неутешительный вывод отчета «Нация под угрозой», который запустил целое движение оценивания учителей, был основан на неправильной интерпретации данных.