Цифры врут. Как не дать статистике обмануть себя

Подобные примеры есть и в области здравоохранения. В Орегоне рейтинги медучреждений учитывают среди прочего внутрибольничную смертность, то есть процент умерших среди госпитализированных. Но в 2017-м врачи пожаловались, что больничная администрация отказывается принимать некоторых тяжелобольных из опасения, что они умрут и тем самым испортят статистику. В 2006-м американская система Medicare начала проводить программу снижения повторной госпитализации, подсчитывая, сколько больных с сердечной недостаточностью были снова госпитализированы в течение 30 дней после выписки. Проведенное в 2018 году исследование показало, что на самом деле эта программа привела к повышению смертности, поскольку больницы, по-видимому, откладывали госпитализацию на 31-й день, стараясь не испортить свою статистику [36].

Мы уже обсуждали другой пример: принцип научной карьеры – «публикация или смерть», когда ценность ученого определяется числом опубликованных им статей, – и связанная с ним практика, когда вероятность публикации существенно ниже, если в ней не достигнута статистическая значимость (и не получен положительный результат). Это приводит к тому, что ученые изо всех сил стараются опубликовать свои статьи, даже если это бесполезный хлам, и манипулируют статистикой для получения p < 0,05, а если результат оказался нулевым, то просто не спешат обнародовать рабочие материалы. Одна работа выявила, что ученые часто фальсифицируют показатели (такие как количество опубликованных статей или цитирований статьи), что делает эти показатели всё худшими индикаторами качества исследований.

Бизнес сталкивается с той же проблемой. Том, один из авторов этой книги, в частности, знает: медиакомпании, которые измеряют вовлеченность пользователей числом просмотров страниц или количеством уникальных посетителей, часто создают контент, максимально увеличивающий эти показатели даже в ущерб качеству. (Помнится, один издатель настаивал на том, чтобы ссылка с основной страницы вела на еще одну основную страницу, – так каждый, кто хочет прочесть саму историю, должен был нажать на ссылку дважды и таким образом дважды учитывался в статистике просмотра страниц. Вероятно, и в вашей сфере найдутся похожие примеры.)

Беда в том, что эти числа – всего лишь заменитель того, что нас реально интересует. В случае с образованием мы хотим, чтобы школы выпускали высокообразованных граждан, готовых ко взрослой жизни. Сами по себе экзамены GCSE не должны волновать нас вовсе (несмотря даже на то что оценки влияют на доступ к следующим ступеням образования; это просто усиливает эффект Гудхарта). Нам неважно, сколько пациентов заново госпитализированы в течение 30 дней после выписки, – это число интересует нас только в той степени, в которой оно характеризует качество полученной ими медицинской помощи. И нам не принципиально, сколько статей публикуют ученые или как часто они цитируются, эти числа – всего лишь показатели качества их научной деятельности.

Мы не ратуем за отказ от измерений. Они необходимы для оценки качества процессов: правительство – при многомиллионном-то населении страны – не может оценивать каждую школу и каждую больницу по отдельности. То же относится и к крупным компаниям. Внутри них измерения тоже оправданы: например, автодилер может премировать тех сотрудников, кто продает больше машин, стимулируя их работать еще усерднее, и тем самым повысить общую производительность. Измерения необходимы.

Но у них есть и оборотная сторона. Если продавцы автосалона не объединят усилия, а начнут конкурировать между собой за покупателей, общий объем продаж может уменьшиться. Если руководство утратит бдительность, то упустит из вида, что показатели – это не то, что вас реально волнует, а просто индикатор чего-то часто сложного, многогранного и трудно определимого, но тем не менее реального – того качества, которое вам действительно важно. И журналисты тоже могут об этом забыть; тогда мы получаем пресс-релизы о числе произведенных средств индивидуальной защиты без комментария, идет ли речь о многоразовой маске-респираторе или об одной резиновой перчатке.

В некоторой степени закон Гудхарта можно обойти: если часто менять показатели или применять сразу несколько, его влияние уменьшается. Но никакие измерения не охватывают реальность полностью – она всегда гораздо сложнее.

«Поиск идеальной статистической характеристики, – отметил в твиттере писатель Уилл Курт, – сродни стремлению поместить на обложку книги такой крутой отзыв, что читать саму книгу уже не понадобится».