Как лгать при помощи статистики

Как уже отмечалось, рост зарегистрированных случаев заболевания – не всегда то же самое, что рост самих случаев заболевания. Если кандидат выходит в победители по данным «соломенных опросов»[31], это не всегда то же самое, что результат самих выборов. Если «типичная представительная группа» аудитории издания назвала в качестве предпочтительных статьи на международные темы, это еще не доказывает, что эти люди непременно будут читать подобные статьи.

Количество случаев заражения энцефалитом в Калифорнийской долине за 1952 г. оказалось втрое выше, чем в самом неблагоприятном году из предыдущих. Многие встревоженные жители поспешили отправить своих детей куда-нибудь подальше. Но когда все данные были сведены воедино, они не показали сколько-нибудь существенного роста смертности от летаргического энцефалита. Причиной тревожной статистики послужило следующее: значительные силы сотрудников органов здравоохранения штата и федерального ведомства были привлечены, чтобы найти решение проблемы в долгосрочном плане, и в результате их усилий было зарегистрировано и учтено множество случаев легкой формы заболевания, каковые в прошлые годы не фиксировались и, возможно, даже не были выявлены.

Все это живо напоминает историю о том, как двое нью-йоркских репортеров, Линкольн Стеффенс и Джейкоб Риис, однажды создали волну преступности. Криминальная хроника в газетах разрослась до таких масштабов (по числу упоминавшихся преступных деяний, отведенному им газетному месту и величине шрифта, каким печатались эти сообщения), что общественность потребовала решительных действий. Теодор Рузвельт, в те поры лично возглавлявший реформирование полицейского управления, попал в незавидное положение. Однако волну преступности он утихомирил самым простым способом: потребовал, чтобы Стеффенс и Риис прекратили нагнетать ситуацию. Корень бед, как выяснилось, состоял в том, что с подачи этой парочки газетные репортеры развернули соревнование, кто сумеет накопать больше всего информации о кражах со взломом и прочих преступлениях. Между тем официальная полицейская статистика не зафиксировала вообще никакого роста преступности.

«Британец старше 5 лет отмачивает себя в горячей ванне в среднем 1,7 раза в неделю зимой и 2,1 раза в летний сезон, – говорится в газетной заметке. – Британка же за неделю принимает ванну в среднем 1,5 раза в неделю зимой и 2,0 раза летом». Источником сведений стал проведенный Министерством общественных работ Великобритании опрос о пользовании горячей водой, в котором участвовали «6000 британских семей». Выборка отвечает требованиям репрезентативности, говорилось в итоговом докладе, и представляется вполне подходящей по размеру. Что оправдывает вывод, который сан-францисская газета Chronicle’s сформулировала следующим забавным заголовком: «БРИТАНЦЫ ПРИНИМАЮТ ВАННУ ЧАЩЕ, ЧЕМ БРИТАНКИ».

Сведения эти могли бы больше сказать о положении дел, если бы отчет содержал хотя бы намек на указание, будут ли приведенные цифры средним или медианным значением. Но самое слабое место в этих сведениях – это что по ходу исследований произошла подмена понятий. Добытые министерством сведения в реальности говорят о том, насколько часто британцы, по их собственным словам, принимают ванну, а не о том, насколько часто они делают это на самом деле. Когда вопрос касается такой сугубо интимной темы, да еще в свете британской традиции часто принимать ванну, нельзя исключать, что ответы респондентов и то, как они поступают в реальности, совсем не одно и то же. В жизни британец с равным успехом может принимать ванну как чаще, так и реже своей соотечественницы. Так что единственное, о чем можно судить с уверенностью, это что британцы говорят, что дела обстоят именно так.

Приведу еще несколько разновидностей подмены объекта исследований, чтобы вы были начеку и при случае не пропустили чего-то подобного.

После того как перепись населения показала, что в 1935 г. в США стало на полмиллиона больше ферм, чем пятью годами раньше, многие усмотрели в этом тенденцию к возвращению на фермы. Однако два этих подсчета имели в виду далеко не одно и то же. За те пять лет само определение фермерского хозяйства, которым руководствовалось Бюро переписи населения США, изменилось, и в итоге при новой переписи к категории фермерских были отнесены как минимум 300 000 хозяйств, которые, согласно действовавшему в 1930 г. определению, таковыми не считались и потому учтены не были.

Порой возникают и настоящие нелепости, если цифры основываются на том, что говорят сами люди, – даже когда речь идет об объективных вроде бы фактах. Так, перепись населения выявила большее количество людей в возрасте, скажем, 35 лет, чем тех, кому 34 и 36. В подобных случаях картина искажается оттого, что кто-то из членов семьи, сообщая о возрасте домочадцев и не будучи в нем точно уверенным, часто следует привычке округлять года до величины, кратной пяти. Один из способов обойти подобные ошибки – просить, чтобы респонденты называли не возраст, а дату рождения.