Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

2. Насколько все открыто? Иными словами, насколько исследование отвечает идеям открытой науки, описанным в восьмой главе? Было ли оно предварительно зарегистрировано? Утвердительный ответ никоим образом не гарантирует, что результаты верны, так же как ответ отрицательный не означает, что они ошибочны. Но если вы сумели отыскать онлайн-регистрацию исследования, то можете быть по крайней мере немного увереннее, что результаты обусловлены не только лишь p-хакингом[834]. Просматривая документы предварительной регистрации, вы также можете определить, отличается ли анализ результатов в итоговой статье от ранее заявленного: то есть не прибегли ли ученые к переключению на другие исходы? А еще: доступны ли данные и другие материалы онлайн? Как мы обсуждали, не каждый набор данных возможно сделать общедоступным, вдруг он, например, содержит информацию, которая позволит идентифицировать конкретных участников исследования. Впрочем, такие случаи редки. Если есть ссылка на полный набор данных, которую легко найти, это убедительное свидетельство в пользу того, что ученые с читателем откровенны[835].

3. Правильно ли исследование спланировано? В пятой главе мы говорили, что в настораживающе большой доле статей, посвященных работе на животных, рандомизация и ослепление даже не упоминаются. А это существенные аспекты в дизайне эксперимента, так что, если в статье они никак не обсуждаются – как минимум в работах, посвященных клиническим испытаниям, где эти аспекты критически важны, – ваша подозрительность должна усилиться. Кроме того, для многих исследований необходима подходящая контрольная группа. Когда ваш взгляд цепляется в статье за сенсационное утверждение, всегда надо задаваться вопросом “по сравнению с чем?”. Если ответ – “по сравнению с контрольной группой, отличавшейся от лечебной по важным параметрам еще до начала эксперимента”, то перед вами плохо спланированное исследование.

4. Насколько велика выборка? Размер выборки имеет значение, главным образом из-за статистической мощности. Это правда, что статистическую мощность можно увеличить и другими способами, поэтому размер выборки – не единственный фактор. Для некоторых видов исследований, где, например, ожидаются большие эффекты или участники тестируются снова и снова, скромной выборки совершенно достаточно. И даже огромные выборки бывают безнадежно смещенными, если они неслучайны или нерепрезентативны. Но для исследований в таких областях, как нейронаука, экология и психология, это распространенная ошибка – искать в крошечных выборках в принципе слабые эффекты; такая стратегия оказывается хуже, чем просто бесполезной. Еще нужно следить за тем, сколько испытуемых оказались исключены из финальной выборки. Некоторые исключения абсолютно в порядке вещей и обычно даже неизбежны. Например, люди, участвующие в исследовании, редко все поголовно следуют указаниям, как должны были бы. Тем не менее, если исключений слишком уж много, скажем больше половины выборки, вы вправе засомневаться, можно ли обобщать результаты на изучавшуюся популяцию, или авторы просто отобрали тех участников, которые демонстрировали желаемый эффект, а остальных выкинули.