В интернете кто-то неправ! Научные исследования спорных вопросов

А теперь у меня для вас очень плохая новость. Я не могу предложить универсального критерия демаркации, абсолютно точного способа отличать надежную научную публикацию от ненадежной, такого, чтобы он никогда не приносил ни ложноположительных, ни ложноотрицательных результатов. Существуют хорошие научные журналы, существуют ненаучные журналы, и существует серая зона – журналы, которые выглядят как научные, относятся к категории научных по ряду формальных признаков, но в которые при этом можно пропихнуть сомнительное, недостоверное, невоспроизводимое исследование. Человек со стороны никогда не может быть полностью уверен в том, что публикация качественная, и редко может быть полностью уверен в том, что она некачественная. Есть, впрочем, ряд критериев, которые существенно повышают вероятность того или иного исхода.

Естественно, на сайте журнала должны быть волшебные слова peer-reviewed, которые означают, что статьи проходят процесс рецензирования другими учеными. Издание должно быть внесено в авторитетные международные библиографические базы данных, такие как Scopus, Web of Science, MEDLINE, о чем оно обычно само с гордостью сообщает где-нибудь на видном месте, а главное – его можно найти с помощью соответствующих поисковых систем. У научной статьи всегда есть DOI – уникальный цифровой индекс, который позволяет однозначно идентифицировать издателя и саму статью (но если он есть, это никак не гарантирует, что статья научная). Экспериментальные работы всегда оформлены примерно одинаково – выходные данные, заголовок, список авторов с указанием их мест работы, абстракт (краткое содержание статьи), введение, материалы и методы, результаты, обсуждение, часто ссылка на дополнительные страницы с информацией о работе, которая не влезла в публикацию. И самое главное – всегда, всегда, всегда в конце есть список использованной литературы, который также состоит из научных статей. Вот если списка литературы нет, то не может быть никаких сомнений: этот материал точно не является научной статьей. О чем можно говорить с автором, который не знаком с другими исследованиями в своей области? Обратное неверно: в моих текстах, как правило, множество ссылок на хорошие источники, но в качестве научных работ они, разумеется, рассматриваться не могут[72].

Если мы предполагаем, что какая-то публикация является научной статьей из рецензируемого журнала, это уже хорошо. Но насколько серьезно стоит ее воспринимать? Есть ряд косвенных, почти интуитивных признаков, позволяющих оценить вероятность того, что текст качественный. Некоторые из них я уже упоминала по ходу книжки. Чем больше выборка – тем выше шансы на то, что авторы пришли к верным выводам. Попытка найти корреляции между миллионом вещей сразу – плохой признак, потому что при таком подходе их нетрудно найти случайно. Двойное слепое плацебо-контролируемое исследование лекарственного препарата всегда надежнее, чем любой другой метод изучения его эффективности. Если авторов у статьи несколько, то это обычно лучше, чем если автор один (потому что они друг друга дополнительно предостерегают от ошибок). Чем больше времени прошло с момента публикации статьи, тем выше вероятность, что по этому вопросу уже получены дополнительные данные, всегда полезно это проверить. Чем больше статью цитировали другие ученые, тем больше шансов, что она важная и значимая; правда, этот критерий неприменим к статьям, которые вышли недавно, потому что те, кто будет их цитировать, еще не успели опубликовать свои исследования. И вообще всё это косвенные признаки, для которых нетрудно найти контрпримеры.