Как лгать при помощи статистики

Когда упоминается «какое-надо-имя», удостоверьтесь, что авторитет его обладателя действительно стоит за данной информацией, а не просто приплетается ради пущей убедительности.

В чикагском Journal of Commerce вам могло попасться на глаза некое горделивое заявление. Журнал провел опрос на тему манипуляций с ценами и затоваривания. Из 169 корпораций, согласившихся принять в нем участие, две трети отрапортовали, что из своего кармана компенсируют увеличение цен, вызванное войной в Корее. «Опрос показывает [держите ухо востро, когда бы и где бы вам ни встретились эти слова!], – утверждал Journal of Commerce, – что корпорации сделали прямо противоположное тому, на что так рассчитывали враги американского бизнеса». Вот тут самое время задаться вопросом «Кто это говорит?», поскольку Journal of Commerce вполне можно счесть заинтересованной стороной. Это еще и самое подходящее время задать себе второй вопрос:

Откуда ему это известно?

В нашем случае выяснилось, что журнал начал с того, что разослал вопросник в 1200 крупных компаний. Из них на вопросы ответили лишь 14 %. Остальные 86 % не удосужились сделать вообще никаких публичных заявлений относительно того, манипулируют ли они ценами и придерживают ли свою продукцию.

Таким образом, журнал умудрился сделать поразительно хорошую мину при довольно плохой игре, но сам факт от этого не изменился: по большому счету хвастаться было особо нечем. Все успехи сводились к следующему: из 1200 привлеченных к опросу компаний 9 % сообщили, что не поднимали цены, 5 % – что подняли, а 86 % промолчали. Ответившие компании образуют выборку, которую можно заподозрить в необъективности.

Приглядывайтесь, нет ли свидетельств тому, что выборка смещенная, то есть отобрана ненадлежащим образом или, как в вышеупомянутом случае, сформировалась сама собой. Задайте себе вопрос, который мы обсуждали в одной из первых глав: достаточно ли велика выборка, чтобы на ее основе сделать сколько-нибудь надежный вывод?

Аналогичным способом поступайте в случае, когда сообщается о корреляции: достаточно ли она велика, чтобы что-то означать? Достаточно ли случаев рассмотрено, чтобы выявленная корреляционная зависимость имела хоть какую-то значимость? Как неподготовленный читатель, вы лишены возможности применить какие-либо критерии значимости или составить себе однозначное суждение о степени адекватности выборки. Но что касается множества публикуемых данных, вы способны оценить с первого взгляда – возможно, довольно долгого и пристального, – что количество рассмотренных случаев явно недостаточно, чтобы убедить в чем-либо человека думающего.

Чего не хватает?

Далеко не всегда сообщают, сколько случаев было взято для изучения. Отсутствия такой цифры достаточно, чтобы бросить тень подозрения на все сообщение в целом, особенно если оно исходит от заинтересованного источника. Точно так же не следует принимать слишком серьезно информацию о корреляции между двумя величинами, если не указана степень достоверности этого показателя (вероятная ошибка, стандартная ошибка).

Будьте начеку, если вам называют среднее без уточнения его вида, во всех случаях, когда можно заподозрить, что среднее арифметическое и медиана существенно различаются.

Множество цифр утрачивают всякий смысл из-за неправомерных сравнений. Так, статья в журнале Look, касаясь темы синдрома Дауна, сообщает, что «как показало одно исследование, в 2800 случаях более половины матерей были 35 лет или старше». Чтобы данная информация имела для вас хоть какой-то смысл, вы должны иметь общее представление, в каком возрастном диапазоне женщины в массе своей рожают детей. А такими знаниями мало кто из нас владеет.

Ниже приводится выдержка из рубрики «Нам сообщают из Лондона» в журнале New Yorker от 31 января 1953 г.

Министерство здравоохранения недавно обнародовало данные, что за неделю, когда держался густой туман, уровень смертности в Лондоне подскочил на 28 %. Эти сведения глубоко потрясли общественность, привыкшую считать последствия неприветливого британского климата скорее досаждающими, нежели губительными… Небывалая смертельная опасность…