Цифры врут. Как не дать статистике обмануть себя

Дурацкие исследования паранормальных способностей – полбеды, а вот если из-за публикационного сдвига врачи начинают прописывать сенсационное лекарство от рака, которое на самом деле не работает, это уже серьезно. К сожалению, так бывает. Более тридцати лет назад исследователь Р. Дж. Саймес отметил, что предварительно зарегистрированные онкологические исследования (предварительная регистрация означает, что их не так просто замять, если ничего не удастся найти: подробности приведены во врезке) с гораздо меньшей вероятностью приносят положительные результаты, чем те, что не регистрировались предварительно. Это наводит на мысль, что множество таких исследований не было опубликовано. Группа, изучавшая эффективность антидепрессантов, обнаружила, что результаты 13 из 55 исследований просто не публиковались. Когда данные этих работ были учтены, доказанная эффективность антидепрессантов снизилась на четверть.

Эту врезку читать необязательно, но, если если вы хотите узнать, что такое воронкообразный график и как проверять наличие публикационного сдвига, не пропускайте ее.

Проверить наличие публикационного сдвига в той или иной области можно хитрым способом – при помощи воронкообразного графика. На нем отмечаются результаты всех исследований по данной теме, причем небольшие, более слабые исследования размещаются внизу графика, а более крупные и весомые – вверху. Если публикационного сдвига нет, то график должен напоминать треугольник: статистически менее мощные исследования имеют большой разброс результатов внизу (потому что в небольших исследованиях больше случайных ошибок), а результаты больших, более достоверных работ концентрируются в более узком диапазоне вверху. Результаты должны скапливаться вокруг одного и того же среднего, вот так:

Но если некоторые проведенные исследования не публикуются, картина может оказаться иной. Неожиданно пропадают работы, в которых ничего не было найдено. Тогда вместо аккуратного треугольника получится скошенная фигура, подобная этой:

Это как стена в мультфильме о Дорожном бегуне, покрытая пулевыми отверстиями, в которой не задетой осталась область в форме Койота. Это о чем-то говорит: то ли пулемет – совершенно случайно – ни разу не попал в эту область, то ли там стоял несчастный Койот, в которого и угодили все пули.[29]

Могло быть и так, что все меньшие, более слабые исследования дали результаты выше среднего и ни одно из них не дало результата ниже среднего. Или же низкие результаты были получены, но не обнародованы из-за публикационного сдвига, и там, где они должны были находиться, возникла загадочная пустота. Подобный вид воронкообразного графика может объясняться и другими причинами, но может говорить о наличии публикационного сдвига.

Это не единственный способ проверки наличия публикационного сдвига – можно просто написать исследователям и попросить у них результаты неопубликованных работ, а потом посмотреть, отличаются ли они от результатов опубликованных. Зачастую так и есть.