Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Порочные стимулы действуют как злой джинн, давая вам именно то, что вы просили, но не обязательно то, чего вы хотели. Поощряйте наращивание числа публикаций, и вы его добьетесь – но будьте готовы к тому, что у ученых останется меньше времени на проверку ошибок, а нарезка статей станет нормой. Поощряйте публикации в журналах с высоким импакт-фактором, и вы их получите – но будьте готовы к тому, что ученые в своих попытках пробиться туда станут прибегать к p-хакингу, публикационному смещению и даже мошенничеству. Поощряйте конкуренцию за гранты, и вы ее добьетесь – но будьте готовы к тому, что ученые начнут без всякой меры раздувать свои результаты и подавать их под нужным углом в попытке привлечь внимание спонсоров. На первый взгляд может показаться, будто наша нынешняя система финансирования науки и публикации результатов поощряет продуктивность и новаторство, однако вместо этого она часто вознаграждает тех, кто следует только букве, а не духу закона науки[677].

Корнелис Бега, “Алхимик”, 1663 г. Музей Гетти

Осознание проблемы со стимулами не означает, что ученым нужно спускать с рук недобросовестные действия. Все мы чувствуем силу стимулов, однако должны делать все возможное, чтобы противостоять им, – во имя науки[678]. Правда, было бы лучше, если бы нам не приходилось, пытаясь делать открытия о мире, сопротивляться сокрушительной тяжести системы “публикуйся или погибни”. Было бы лучше, если бы мы сумели достичь золотой середины, когда поощряется усердная работа и изобретательность ученых, но еще и осторожность со строгостью; когда ученые стремятся сделать все правильно, а не просто опубликоваться[679]. Так как же нам этого достичь? Как нам выправить наши стимулы и тем самым повысить надежность науки? Мы обсудим это в следующей, заключительной главе[680].

Глава 8. Исцеление науки

Процесс научного открытия… за следующие двадцать лет изменится сильнее, чем за последние триста.

Майкл Нильсен[681]

Большинство обсуждавшихся в этой книге проблем с наукой отражено в одной метанаучной работе 2018 года. Исследовательница психиатрии Имкье Анна де Врис и ее коллеги изучили все этапы, которые обычно отделяют клинические испытания нового лекарства от его финального представления миру[682]. В свою выборку они включили сто пять различных испытаний антидепрессантов, которые были одобрены Управлением по контролю качества пищевых продуктов и лекарственных средств США. Соотношение положительных и отрицательных результатов оказалось почти пятьдесят на пятьдесят: в пятидесяти трех исследованиях было показано, что рассматриваемый антидепрессант работает лучше, чем контроль или плацебо, а в пятидесяти двух результаты были либо отрицательными, либо неоднозначными[683]. Пока все предсказуемо: некоторые исследования дали значимые результаты, а некоторые – нет. Проблема в том, что произошло дальше.

Просматривая все исследования, де Врис и ее команда наблюдали процесс “отмывания литературы”, превративший беспорядочный, пестрый набор испытаний в куда более четкую историю научного открытия, – процесс, благодаря которому рассматриваемые препараты стали выглядеть значительно более эффективными, чем они на самом деле были. Первым шагом стало публикационное смещение. В конечном итоге были опубликованы 98 % исследований с положительными результатами (пятьдесят два из пятидесяти трех), тогда как с отрицательными – только 48 % (двадцать пять из пятидесяти двух). В реальности соотношение положительных и отрицательных результатов было сбалансированным, близким к единице, а после публикации положительные результаты вдвое превосходили отрицательные. Как мы знаем, в научных журналах отрицательные результаты не приветствуются, однако для ясного видения научной летописи нам необходимо о них знать.

Вторым шагом стал p-хакинг, а именно переключение на другие исходы, при котором ученые смещают фокус своего исследования, когда обнаруживается, что их основной результат не является статистически значимым. Как только изменились изучаемые исходы, еще десять исследований с отрицательными результатами превратились в положительные (помните, в четвертой главе мы говорили, как переключение на другие исходы увеличивает вероятность, что наш результат – всего лишь ложноположительный). Пока еще оставалось пятнадцать исследований с явно отрицательными результатами – и в дело вступила подача под нужным углом. В десяти из этих пятнадцати исследований в аннотации или основном тексте статьи для придания результатам более позитивного характера в той или иной форме использовалась подача под нужным углом.