Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Для решения проблемы чаще всего предлагается попросту отказаться от идеи статистической значимости. В 2019 году более восьмисот пятидесяти исследователей подписали открытое письмо в журнале Nature как раз об этом. “Статистической значимости пора уйти”, – говорилось там[704]. Вместо того чтобы подчеркивать значимость, утверждали они, ученым следует трезвее оценивать неопределенность своих открытий, сообщая о пределах погрешности для каждого числа, и вообще быть скромнее относительно того, что возможно вывести из зачастую расплывчатых статистических результатов[705]. Тут есть здравое зерно, хотя следует иметь в виду, что для оценки погрешности чаще всего рассчитывается так называемый доверительный интервал, а он просто обеспечивает другой взгляд на данные по сравнению с p-значением, но не дает много новой статистической информации[706]. Однако в ванне статистической значимости есть еще и ребенок. Предоставляя ученым объективную меру, пусть и произвольную, она связывает им руки. Отказ от p-значений не обязательно улучшит положение; на самом деле из-за введения иного источника субъективности ситуация может серьезно ухудшиться[707]. Джон Иоаннидис полушутливо отметил, что если мы избавимся от всех подобных объективных мер, то создадим ситуацию, когда “вся наука станет похожа на эпидемиологию питания”, – а это действительно пугающая перспектива[708].

Такая же критика часто звучит в отношении другой важной альтернативы p-значениям – байесовской статистики. Основанный на теореме о вероятности, которую сформулировал статистик XVIII века Томас Байес, этот метод позволяет исследователям учитывать силу предыдущих доказательств – называемых “априорными” – при оценке значимости новых результатов. Например, если кто-то скажет вам, что прогноз погоды предсказывает дождливый день в Лондоне осенью, этому человеку не придется долго вас убеждать. С другой стороны, если прогноз предсказывает снежную бурю в пустыне Сахара в июле, вы, вероятно, воспримете сие утверждение весьма скептически, учитывая весь предыдущий опыт, говорящий нам о знойном сахарском лете. Приверженец байесовского подхода может включить все эти предварительные свидетельства в свой расчет – и в случае с Сахарой новый прогноз должен быть чрезвычайно убедительным, чтобы опровергнуть все предыдущие метеорологические данные[709]. С p-значениями такого не провернуть, поскольку они почти всегда рассчитываются независимо от любых предыдущих доказательств. Однако байесовская “априорность” по своей сути субъективна: все согласятся с тем, что в Сахаре жарко и сухо, но насколько сильно до начала исследования мы должны верить, что определенное лекарство уменьшит симптомы депрессии или что конкретная государственная политика будет способствовать экономическому росту, – вопрос весьма спорный.

Помимо учета априорных знаний байесовская статистика имеет и другие отличия от p-значений[710]. Например, на нее меньше влияет размер выборки: статистическая мощность тут роли не играет, поскольку байесовский подход направлен не на определение влияния конкретного набора условий, а просто на взвешивание доказательств за и против гипотезы. Еще байесовский подход, пожалуй, ближе к обычным рассуждениям людей о статистике. Приверженцы байесовского метода спрашивают: “Какова вероятность, что моя гипотеза верна, учитывая эти наблюдения?” – и это более интуитивный подход, чем тот, что основан на p-значениях, когда вопрос звучит так: “Какова вероятность, что я получил бы эти наблюдения при условии, что моя гипотеза не верна?”[711]

Любой статистический подход имеет свои плюсы и минусы[712]. Хотя некоторые критики в этих дебатах заявляют, будто p-значения – корень всех зол, числовой Крысолов, который сбивает с толку вообще-то здравомыслящих ученых, крайне маловероятно, что мошенничество, предвзятость, недобросовестность и хайп, о которых мы говорили в этой книге, вдруг испарятся, если мы просто избавимся от одного статистического инструмента и возьмем на вооружение другой. Статистика сама по себе не способна решить главную проблему: исправить изъяны человеческой природы и, как следствие, научной системы. Независимо от того, какой статистический подход будет доминирующим, некоторые ученые найдут способы обойти систему, чтобы придать своим результатам более впечатляющий вид. Как мы увидим дальше, решения этих проблем должны лежать в области мотивации и культуры.