С самого начала этот рейтинг вызывал разногласия. «Откровенная насмешка»[181], — сказал один читатель
Прошло 20 лет. Этот рейтинг ежегодно публикуется в газете
Возможно, я наивная рыбка, но я заглотил эту наживку. Я думаю, что «Индекс вызовов» поднимает глубокие вопросы — они касаются не только педагогических приоритетов, но и перипетий количественной оценки хаотичного, многогранного мира. Какие показатели мы должны использовать — сложные или простые? Как найти компромисс между изощренностью и прозрачностью? И прежде всего: статистика наподобие «Индекса вызовов» пытается измерить мир как он есть или преобразить его?
2. Хоррор-шоу кривых показателей
Люди делятся на две категории: те, кому нравятся грубые дуализмы, и все остальные. И теперь, когда я сбросил с себя маску и вы поняли, что я принадлежу к первой категории, позвольте мне ввести классификацию статистических показателей, которая мне представляется полезной: есть
Окно — это число, благодаря которому можно увидеть проблеск реальности. Оно не входит ни в одну систему стимулирования. Оно не помогает снискать аплодисменты и не чревато наказаниями. Это приблизительные, фрагментарные, несовершенные данные, но все же полезные любопытному наблюдателю. Представьте себе психолога, который просит испытуемого оценить уровень своего счастья по шкале от 1 до 10. Это всего лишь грубое упрощение; только впавшая в абсолютную безнадежность человеческая единица поверит, что счастье можно выразить одним числом.
Или представьте, что исследуете уровень здоровья в глобальном масштабе. Невозможно количественно оценить физическое и психическое благополучие каждого гражданина. Вместо этого вы смотрите на сводную статистику: ожидаемая продолжительность жизни, детская бедность, потребление печенья Pop-Tarts на душу населения. Это полезное окно в реальность, хотя оно не позволяет увидеть ее целиком.
Второй вид показателей — это табло результатов. Оно сообщает определенный, окончательный результат. Это не отстраненное наблюдение, а обобщенное суждение, система стимулирования, несущая определенные последствия.
Представьте себе рейтинг баскетбольных команд. Конечно, плохие команды иногда берут верх над хорошими. Но, если вы назовете рейтинг ошибочным показателем качества команды, люди станут смотреть на вас искоса. Вы не для того набираете очки, чтобы доказать качество своей команды; вы повышаете качество команды, чтобы набрать больше очков. Табло результатов — это не грубый показатель, а сам желанный результат.
Или рассмотрим суммарную прибыль от продаж. Чем больше это число, тем лучше сделана работа. И точка.
Одни и те же статистические показатели могут быть
Многие статистические показатели представляют собой полезные окна, но неэффективные табло результатов. Пример — история с британской службой скорой помощи[183]. В конце 1990-х правительство Великобритании ввело ясный показатель: доля выездов на звонок в скорую помощь менее чем за 8 минут. Цель: 75 %.
Отличное окно. Чудовищное табло результатов.
Во-первых, имела место подтасовка данных. В записях значилось множество выездов за 7 минут 59 секунд; почти ни одного за 8 минут и 1 секунду. А во-вторых, что гораздо хуже, эта разнарядка породила безумные выходки. Некоторые бригады просто-напросто бросали свою карету скорой помощи, пересаживались на велосипеды и успевали доехать в течение 8 минут несмотря на городской транспортный поток. На мой взгляд, оснащенная необходимой аппаратурой машина для перевозки пациентов, которая приезжает через 9 минут, существенно полезнее, чем бригада в белых халатах на велосипедах через 8 минут, но табло результатов со мной не согласно.
Позвольте развить эту тему в серии скетчей, которую я окрестил «Хоррор-шоу кривых показателей»: