Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Не стоит совершать ошибку отождествления корреляции и причинности, считая, что новые требования регистрировать исследования обязательно вызвали сокращение количества положительных результатов, – возможно, в том же году произошли и какие-нибудь иные изменения, например сдвиг фокуса на другие виды лечения. Но мы вправе предположить, что публичная предварительная регистрация своих планов могла побудить ученых, проводящих клинические испытания, быть более честными и откровенными в отношении того, что они обнаружили. Если результаты свидетельствуют все-таки о причинно-следственной связи, то они служат сильным аргументом в пользу предварительной регистрации всех исследований вообще, а также суровым обвинением стандартной научной практики, существовавшей до нововведения[726].

Впрочем, предварительная регистрация – не серебряная пуля. Многие ученые, предварительно регистрирующие свои исследования, все равно не публикуют их (или не сообщают хотя бы о результатах) в установленный срок. Другие, несмотря на предварительную регистрацию, все равно вносят изменения в свой анализ после его начала[727]. В случае с клиническими испытаниями ученые не просто пренебрегают передовой практикой, но нарушают закон – в ходе одного расследования, проведенного журналом Science в 2020 году, обнаружилось, что о результатах свыше 55 % исследований ученые сообщили позже, чем обязаны были по реестру правительства США. Скажу лишь, что все должно было работать иначе: предварительная регистрация приносит пользу, только если соблюдается внесенный в реестр план. В области клинических испытаний нам необходимо ужесточить контроль за выполнением предписаний, а также наказания для “клинических нарушителей” (например, запрещать им в будущем получать правительственные гранты или публиковаться в определенных журналах в течение какого-то срока)[728]. В других областях, где нет установленной законом обязанности следовать зарегистрированным планам, нужно найти другие способы обеспечивать их выполнение учеными. В Великобритании, например, Национальному институту исследований в области здравоохранения и ухода удается добиться, чтобы почти все финансируемые им проекты оказывались опубликованными, отчасти потому, что он удерживает 10 % от суммы гранта до тех пор, пока не появится отчет о проведенном исследовании[729].

Другой вариант – использовать еще более строгую версию предварительной регистрации. Ученые тогда подают на рецензирование саму регистрационную заявку, и если рецензенты ее одобряют и соглашаются, что дизайн исследования осмысленный, то журнал берет на себя обязательство опубликовать итоговую работу независимо от того, какими окажутся результаты. И только после этого ученые приступают к сбору данных[730]. Такой тип исследований (его называют registered report, “зарегистрированный отчет”) не только кладет конец публикационному смещению, разрушая пагубную связь между статистической значимостью результатов и решением публиковаться, но еще и подрезает крылья p-хакингу, поскольку вы должны согласовывать свой анализ с рецензентами заранее и не можете просто изменить его задним числом, не объяснив предельно четко, что именно сделали. А самое главное, такой тип исследований сводит на нет многие из порочных стимулов, которые и приводят к предвзятостям и мошенничеству. Вы знаете, что опубликуете статью в любом случае, поэтому нет больше сильного давления, заставлявшего украшать свои результаты[731].

Предварительная регистрация – задумка удачная, если вынести за скобки практические аспекты контроля за соблюдением правил. Ведь в конечном итоге суть в прозрачности: не прячь свои планы или свой анализ от мира. Связанная с этим концепция “открытой науки” возникла намного раньше, чем кризис воспроизводимости, но может стать одним из мощнейших от него противоядий[732]. Открытая наука – это идея, согласно которой доступ к каждому этапу научного процесса нужно по мере сил делать свободным[733]. Идеальное исследование с точки зрения открытой науки имело бы соответствующую веб-страницу, где можно было бы скачать все данные, весь статистический код, который использовался учеными для их анализа, и все материалы, что использовались для самого сбора данных[734]. И вместе с основной работой публиковались бы рецензии (даже если личность рецензентов не раскрывается) и предыдущие версии статьи, что позволяло бы читателю увидеть весь публикационный процесс[735].