Критическое мышление. Анализируй, сомневайся, формируй свое мнение

Величина является статистически значимой, если вероятность достижения этого результата по чистой случайности ниже уровня, заранее установленного вами в качестве порогового, отсекающего недоказанное от доказанного. В статистике этот уровень называется p-значением[20]{91}. В крайнем правом столбце таблицы даны p-значения для результата каждого броска – вероятность того, что результат был целиком и полностью игрой случая, указанная на шкале от абсолютной уверенности (1) до полной невозможности (0).

Ученые в своих исследованиях часто используют в качестве порогового p-значение, равное 0,05: это означает, что любой результат, p-значение которого ниже данной величины, с вероятностью более 95 % не был случайным.

95 %-ная уверенность в значимости результатов может выглядеть впечатляюще, однако необходимо помнить: из этого следует, что результаты 1 эксперимента из каждых 20, согласно статистике, оказались, скорее всего, чистым везением.

Об этом часто забывают!

Если в эксперименте с монетой вы задали p-величину в 0,05, то сколько результатов подбрасывания я должен предсказать, чтобы соответствовать этому критерию? Загляните в таблицу. Четырех бросков недостаточно – вероятность равна 0,0625, – но уже на пятом я прохожу барьер 0,05. Что, если вы заранее установили намного более жесткий критерий – 0,001? Я должен дать десять правильных ответов подряд, чтобы достичь этого уровня статистической значимости. Тогда мы сможем сказать:

Результаты значимы при p <= 0,001.

Шанс незначимости результатов – менее 1 из 1000. Потрясающе! Скорее ищите деньги, чтобы купить мое изобретение. Вы запросто можете впечатлиться изобретением, если, конечно, не наведете справки и не выясните, что до вас мы с друзьями обошли с тем же самым волшебным приложением больше 1000 человек. Некоторые мошенники именно так и поступают. Ради того, чтобы сорвать жирный куш, можно сделать и тысячу попыток в ожидании всего одной лишь фантастической удачи. В некоторых обстоятельствах даже значимости больше 1 из 1000 недостаточно для полной уверенности.

Корреляция и каузальность

Как вы оцениваете следующее заявление, если предположить, что оно имеет точную формулировку и опирается на верные данные? Согласны ли вы с ним, или вас что-то настораживает?

Результаты моего анализа продуктивности экономики и паттернов расходования средств в рыночном сегменте товаров массового спроса говорят сами за себя. Со значимостью выше p = 0,05 я продемонстрировал наличие в последнее десятилетие прямой зависимости между расходами потребителей и продуктивностью экономики. Это свидетельствует, что траты покупателей на товары массового спроса в огромной степени определяются данным показателем: вероятно, потому, что в условиях менее продуктивной экономической системы потребители не столь уверены в будущем, а финансовое состояние домохозяйств менее прочно.

Как вы, наверное, уже поняли, этот анализ – полнейшая бессмыслица. Между расходами на товары массового спроса и продуктивностью экономики может наблюдаться тесная корреляция{92}, означающая, что эти две тенденции связаны друг с другом (термин происходит от лат. correlatio – «соотношение, взаимосвязь»). Однако не продемонстрирована их каузальность{93} – то, что одна тенденция вызывается другой. Автор исследования выдает желаемое за действительное, что, к сожалению, часто случается, когда между явлениями наблюдается нечто общее. Нужно быть очень осмотрительным и убедиться, что они действительно находятся в состоянии каузальности – то есть причинной обусловленности.

Например, в США наблюдается статистическая взаимосвязь между новыми случаями диагностированного аутизма и продажами органических продуктов питания. Посмотрите на приведенный ниже график. Как видите, две кривые явно свидетельствуют о тесной корреляции этих переменных. Означает ли это, что одна является причиной другой? Нет. Скорее всего, это отражение того факта, что сегодня диагноз «аутизм» ставится значительно чаще, чем в прошлом, благодаря гораздо более широкой осведомленности медиков об этой патологии, а употребление в пищу органических продуктов становится все более популярной составляющей здорового образа жизни.