Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Но что, если Паулю просто везло? Вероятность чисто случайного правильного предсказания результатов восьми матчей равна вероятности выпадения восьми орлов подряд при подбрасывании монеты: один шанс из 256, то есть 0,4 процента. Шансы невелики, но вероятность выигрыша в лотерею Lotto[202] почти в 200 000 раз меньше – одна 45-миллионная[203].

Эта история кажется еще менее поразительной, когда узнаешь, что на роль пророка чемпионата мира претендовали и другие животные. Как насчет дикобраза Леона, карликового бегемота Петти или тамарина Антона? Они тоже предсказывали результаты матчей чемпионата, но им повезло меньше, чем их коллеге Паулю. Если набрать достаточное количество животных, прогнозирующих результаты матчей, всегда найдется одно, предсказывающее правильно.

То же справедливо и в отношении корреляций. Если искать достаточно долго, всегда можно найти связь. Никто не иллюстрирует это положение лучше, чем аналитик Тайлер Виген. Ему принесли известность странные корреляции, о которых он писал на своем веб-сайте Spurious Correlations («Сомнительные корреляции»)[204]. Например, он обнаружил, что прирост числа людей, ежегодно тонущих в результате падения в бассейны, почти точно равен количеству фильмов, в которых играет Николас Кейдж. А динамика потребления сыра выглядит пугающе похожей на число людей, которые гибнут, запутавшись в постельном белье.

Корреляции Вигена подчеркнуто бессмысленны, что и делает их такими забавными. Гораздо менее забавно то обстоятельство, что корреляции в медицинских исследованиях так же легко могут быть порождены случайностью.

Карикатурист Рэндел Монро показал, как это бывает, в своем веб-комиксе xkcd[205]. Человечек с прической «конский хвост» вбегает в кадр, восклицая: «Мармеладное драже – причина подростковых угрей!» В следующем кадре двое ученых – один человечек в очках, а другой с листом бумаги – представляют свои результаты: никакой связи нет. «Я слышал, что угри вызывает только драже определенного цвета», – заявляет «конский хвост». Ученые возвращаются, на этот раз с сообщением, что не обнаружили связи с фиолетовыми драже. А также с коричневыми, розовыми, синими, аквамариновыми, желто-оранжевыми, красными, бирюзовыми, пурпурными, желтыми, серыми, бурыми, голубыми, лиловыми, бежевыми, сиреневыми, черными, персиковыми и оранжевыми. Но для одного цвета связь все же была найдена. В последнем кадре показана первая полоса газеты с торжествующим заголовком: «Доказана связь зеленого драже с угрями!»

Выше мы видели, что выборка может быть слишком малой; этот комикс иллюстрирует еще две проблемы, широко распространенные в науке. Первая – публикационное искажение. Мы обычно слышим только об исследованиях, в которых были найдены значимые корреляции. Во многих областях исследований применяется принцип «незначимое не важно». Это касается не только тех случаев, когда вы хотите, чтобы о вашей исследовательской работе непременно рассказали СМИ, но и публикаций в научных журналах. Поэтому многие исследования с нулевыми результатами остаются «в столе», и это придает научной литературе искаженный вид. А поскольку исследователи стремятся публиковать свои работы, они ищут в данных ясных корреляций. Кажется, что в таком положении вещей в принципе нет ничего дурного, но, как в комиксе про мармеладное драже, если искать достаточно долго, что-нибудь всегда найдется.

На газетной странице в комиксе также написано: «Вероятность совпадения – всего 5 процентов!» Монро имеет в виду так называемое p-значение, определяющее вероятность получения результата вследствие совпадения. Благодаря знаменитому статистику Рональду Фишеру p-значение стало в XX веке главным методом измерения значимости корреляций.

Предположим, вы хотите выяснить, существует ли причинно-следственная связь между зеленым мармеладным драже и угрями. Для этого можно провести эксперимент, подобный тому, что провел Арчи Кокран: нужно разбить участников на две группы. В одной группе участникам каждый день в течение месяца дают по одному зеленому драже, а во второй – по сахарной пилюле зеленого цвета. К концу испытаний у 10 процентов участников в группе, получавшей плацебо, оказываются прыщи. В группе, получавшей мармеладные драже, участников с прыщами больше, но это, разумеется, может быть чистым совпадением.

Разумеется, если бы прыщи появились у 100 процентов участников испытаний, входящих в эту группу, вряд ли это могло бы произойти по случайности. Но хватит ли 90 процентов? А 50? Где-то нужно провести границу. P-значение – это вероятность того, что количество участников с угрями в группе, получавшей драже, будет выше, даже если мармеладные драже на самом деле вовсе не вызывают угри. Если эта вероятность ниже заранее согласованного порогового уровня – его часто берут равным 5 процентам, – то вероятность, что вы обнаружите такую долю пациентов, настолько мала, что корреляцию можно назвать «статистически значимой».