Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Кто-то справедливо возразит, что если ученые совсем не будут оставлять себе пространства для маневра, то не останется и шансов совершить случайное открытие (пенициллин и виагра – вот два из наиболее известных случайных открытий, часто выдвигаемые в качестве аргумента)[723]. Однако предварительная регистрация – это совсем другое. В предварительно зарегистрированном исследовании какой-то спонтанный анализ для изучения интересных закономерностей в данных тоже разрешен, просто он не может быть подан под таким углом, словно был спланирован заранее. Этот так называемый исследовательский анализ может привести ко многим важным идеям и открытиям: например, вы неожиданно обнаружите, что новое лекарство лучше действует на пожилых, чем на молодых участников, а затем выстроите новую линию исследований, чтобы разобраться в причинах. Но, как мы уже неоднократно видели в предыдущих главах, числа всегда зашумлены, так что вы гарантированно найдете что-то любопытное, если вдоль и поперек проанализируете свои данные достаточным количеством способов. Поскольку вы дали себе больше попыток найти нечто статистически значимое, положительные результаты исследовательского анализа с гораздо большей вероятностью окажутся случайностью, которая на новой выборке не воспроизведется. И все же, что несколько возмутительно, в науке результаты исследовательского анализа по большей части преподносятся так, будто они подтверждающие, словно это результаты тестов, запланированных до начала исследования. Предварительная регистрация позволяет вам четко сказать читателям, использовали ли вы данные в исследовательских целях, чтобы сформулировать гипотезу (“О, интересно, переменная X, похоже, связана с переменной Y! Надо бы проверить, воспроизведется ли это в новом наборе данных”), или в подтверждающих, чтобы гипотезу проверить (“Я предсказал, что переменная X будет связана с переменной Y в этом наборе данных, и это действительно так!”)[724].

Исследование крупномасштабных испытаний, посвященных средствам профилактики и лечения сердечно-сосудистых заболеваний, результаты которого показаны на рисунке 5, ярко иллюстрирует влияние предварительной регистрации[725]. До того, как регистрация стала обязательной, в журналах сообщалось о впечатляющем количестве положительных результатов, изображенных белыми точками в нижней половине графика (то есть указывающих на сниженный риск изучавшихся исходов, связанных с сердечно-сосудистыми заболеваниями), а также о случайных отрицательных. Но посмотрите, что произошло после 2000 года, когда ввели обязательную предварительную регистрацию. Внезапно положительных результатов стало только два, а остальные исследования дали отрицательные результаты, группирующиеся вокруг нулевого эффекта (он соответствует единице по вертикальной оси “относительного риска”). Успешность испытаний до введения обязательной предварительной регистрации составляла 57 %, а после – рухнула до 8 %. Повторюсь: до введения регистрации испытания казались чрезвычайно успешными, свидетельствующими о множестве вроде бы эффективных средств от сердечно-сосудистых заболеваний, после же правда вышла наружу: лекарства и пищевые добавки, проверяемые в этих исследованиях, и близко не такие полезные, как нас уверяли.

Рис. 5. Исследования, посвященные лечению и профилактике сердечно-сосудистых заболеваний и опубликованные до либо после 2000 года, когда регистрация клинических испытаний (или по меньшей мере их основных исходов) стала обязательной (вертикальная пунктирная линия). В исследованиях, расположенных ниже горизонтальной пунктирной линии, получилось, что изучаемые средства профилактики или лечения сердечно-сосудистых заболеваний снизили риски (чем ниже точка, тем меньше риск). Белыми точками обозначаются исследования, в которых обнаружился статистически значимый эффект, говорящий в пользу профилактики или лечения; черными – в которых результаты оказались отрицательными. Обратите внимание, что еще есть одно исследование со статистически значимыми результатами, проведенное после 2000 года, в котором обнаружилось, что изучаемое средство лечения вообще опасно (точка с крестиком). Адаптировано из Kaplan R. M., Irvin V. L., 2015