Цифры врут. Как не дать статистике обмануть себя

В случае с фармацевтическими компаниями логично предположить, что все дело в корпоративной жадности: если в ходе их исследований обнаружится, что антидепрессант не действует, это ухудшит его продажи. Возможно, отчасти проблема именно этим и объясняется, хотя одно исследование показало, что результаты испытаний, спонсируемых представителями индустрии, с большей вероятностью будут опубликованы в течение года (как того требует американское законодательство), чем результаты других.

Но главная причина в том, что журналы отбирают материалы на основе полученных в них результатов. Вот решили вы провести какое-нибудь исследование: скажем, если попросить людей напеть «Марсельезу» перед походом в ресторан, то увеличится ли вероятность того, что они закажут лягушачьи лапки? Как правило, заявку на публикацию ученые подают не тогда, когда идея только пришла им в голову, а когда уже есть результаты.

«Напевание „Марсельезы“ не влияет на выбор блюд» – крайне скучный заголовок; ясно, что большинство журналов такую статью отвергнет. Однако если допустить, что такое влияние и правда отсутствует, но проверкой гипотезы займется 20 групп, то в среднем одна из них получит статистически значимый (p < 0,05) результат чисто случайно (как обычно, предполагаем, что исследование проводится корректно). Именно его и опубликуют в научном журнале, и именно он поднимет шум в СМИ.

Так и произошло с вышеупомянутыми исследованиями по денежному праймингу. При проведении метаанализа воспользовались воронкообразным графиком (см. врезку), чтобы определить, имел ли место публикационный сдвиг, и обнаружили его. Возможно, денежный прайминг – реальный феномен, но его эффект намного меньше, чем казалось во времена расцвета этой идеи, ведь отчеты о многих исследованиях, которые его существование не подтвердили, остались в письменных столах своих авторов.

Но все еще хуже: ученые знают, что журналы, скорее всего, откажутся публиковать отрицательные результаты. Так что они их и посылать не будут. Или слегка подкорректируют: посмотрят на данные под другим углом, отбросят экстремальные значения, чтобы результаты выглядели положительными. Карьера в науке подчиняется девизу «Публикуйся или умри». Без статей не жди продвижения по службе или постоянной должности. Так что ученые крайне заинтересованы в публикации своих статей, а значит, у них есть серьезный стимул заниматься p-подгонкой.

Еще хуже складывается ситуация для читателя СМИ. Даже если статья опубликована в научном журнале, в популярном издании о ней не напишут, если она скучная и с заголовком типа «Напевание „Марсельезы“ вообще ни на что не влияет». За новостями особенно гонятся в новостных медиа – на то они и новостные. В газетах пишут об авиакатастрофах – редких и волнующих событиях, а не о благополучно приземлившихся самолетах – событиях заурядных и не занимательных. Поэтому публичное информационное пространство – как и научная литература – дает искаженное представление о частоте чрезвычайных происшествий. Здесь работает тот же механизм.

Ученые пытаются устранить эту проблему. Одно из самых многообещающих решений связано с так называемыми заявленными (т. е. предварительно отрецензированными) исследованиями, когда журнал – во избежание публикационного сдвига – заранее обязуется напечатать исследование на основании выбранного метода, независимо от результатов. В одном исследовании сравнивались обычные психологические исследования и заявленные, и оказалось, что если 96 % обычных статей содержат положительные результаты, то среди заявленных таких только 44 %, что указывает на серьезную проблему. Заявленные исследования получают все большее распространение, и можно надеяться, что скоро они станут нормой.

Вряд ли можно ожидать, что новостные медиа начнут рассказывать об исследованиях, в которых ничего не обнаружено, или о каждом самолете, совершившем штатную посадку в парижском аэропорту имени Шарля де Голля. Но СМИ могли бы поднять шум вокруг этой проблемы в науке, и это подтолкнуло бы больше научных журналов перейти к публикации заявленных исследований и взять на вооружение другие разумные реформы, поскольку это фундаментальная научная проблема и важнейшая причина того, что цифрам, о которых мы читаем, не всегда можно верить.

Глава 16 Выборочное представление фактов

Вернемся немного назад – в 2006 год, когда австралийский геолог Боб Картер опубликовал в британской газете The Daily Telegraph статью «Проблема глобального потепления СУЩЕСТВУЕТ. Оно прекратилось в 1998-м». В течение последующих восьми или около того лет выходила уйма материалов такого плана. Многие из них печатались в The Daily Telegraph и в The Mail on Sunday.

Идея о том, что потепление прекратилось в 1998-м, вызвала долгие дискуссии о паузе в нем или его хиатусе. Чем объясняется это кажущееся замедление (а в некоторых версиях даже разворот) роста температур?[30]