Цифры врут. Как не дать статистике обмануть себя

И нам по-прежнему не хватает многих данных. Представьте, что завтра кто-то что-то изобретет, например холодный ядерный синтез с помощью пары лимонов и банки из-под фанты. Мгновенно все экономики мира вырастут в десять раз.

Заглянем в нашу таблицу: Великобритания по-прежнему шестая, после Индии. Просто к ее ВВП добавился нолик на конце.

Относительное богатство действительно важно, и есть доказательства, что мы чувствуем себя лучше – по крайней мере частично – не от осознания абсолютной величины своего богатства, а когда понимаем, насколько мы состоятельнее окружающих. Но вот открытие холодного синтеза на базе банки из-под фанты произведет революцию в мире и выведет из бедности сотни миллионов людей. А в нашем рейтинге ничего не изменится. Французы – бездельники, которым лишь бы побастовать, – будут по-прежнему прозябать на седьмом месте.

(Стоит заметить, что лично вам не особенно важна величина ВВП страны, если рассматривать население в целом. У Лихтенштейна всегда будет крошечный ВВП, поскольку там не так много жителей, но большинство граждан состоятельны. А вот у Индонезии ВВП довольно велик, поскольку там немало людей, но многие ее жители совсем бедные. Возможно, больший интерес представляет ВВП на душу населения. По этому показателю МВФ спускает Великобританию намного ниже – на 21-е место.)

Рейтинги нельзя назвать абсолютно бесполезными. Они показывают ваше положение среди других, будь вы продавец в магазине, школа в Лестершире или западноевропейское демократическое государство среднего размера. Например, может быть полезным знать, отстает ли Великобритания от Германии по количеству сделанных ПЦР-тестов на коронавирус или как соотносятся расходы на культуру или оборону нашей страны и других государств. Но даже и это полезно только при условии, что мы также знаем, на каких данных основан рейтинг. Если мы отстаем от Германии в тестировании, потому что они проверяют 500 человек из каждых ста тысяч, а мы – 499, то, возможно, нам это неважно. А вот если это 500 против 50, то дело явно неладно.

Но в наше время принято все оценивать количественно: есть рейтинги университетов, школ, больниц. Рейтинги пиццерий и иерархия кебабов.

Дополнительная загвоздка в том, что многие рейтинги основаны на субъективных оценках. Например, мировой рейтинг университетов в значительной степени опирается на «научную репутацию» – от нее зависит 40 % баллов учебного заведения. Ученых опрашивают о том, насколько высоко они оценивают преподавание и исследования в 200 различных учебных заведениях. Поскольку большинство респондентов не посетили ни одной лекции в большинстве из этих вузов, многое тут будет основано лишь на догадках. Поэтому рейтинги университетов весьма волатильны. Например, Манчестерский университет, в котором учился Дэвид, занимает 27-е место в мировом рейтинге, но 40-е – в рейтинге британских университетов по версии The Guardian. Это, конечно, смешно: если в одной Великобритании 39 университетов лучше Манчестерского, то в мире их наверняка больше 26, раз мир содержит Великобританию. С Королевским колледжем Лондона, где Том был аспирантом, та же история: 63-й в Великобритании и 31-й в мире.

Эти противоречивые результаты объясняются выбором факторов, включаемых в оценку, и весами этих факторов: если решить, что удовлетворенность студентов важнее научной репутации, то результаты будут иными. Выбор того, что именно стоит принимать во внимание, сильно меняет положение. Это не означает, что рейтинги неверны, просто не стоит воспринимать их как истину в последней инстанции.

Вернемся к рейтингам PISA. На чем они основаны? Много ли от них пользы?

Прежде всего отметим, что они не столь субъективны, как рейтинги университетов. Баллы присуждаются по результатам стандартизированных экзаменов для 15-летних школьников, которые проводятся во всех участвующих в рейтинге странах; вопросы касаются математики, естествознания и навыков чтения. И похоже, что эти тесты значимы и в реальной жизни: дети, получившие высокие баллы на экзаменах PISA, в дальнейшем лучше учатся и имеют больше шансов найти работу, чем те, кто сдал экзамены хуже. Следовательно, на экзаменах PISA проверяется нечто действительно важное, поэтому данные рейтинги не то чтобы совсем бессмысленны.