Замечательный эксперимент провели три студента Массачусетского технологического института, создавшие SCIgen – программу, генерирующую случайные наукообразные тексты. Написанная программой статья Rooter: A Methodology for the Typical Unification of Access Points and Redundancy
была принята в качестве материала компьютерной конференции, а авторы получили приглашение на ней выступить. Когда мистификация вскрылась, организаторы конференции отозвали приглашение, однако это не помешало создателям SCIgen снять помещение в здании напротив и выступать там с лекциями столь же случайного содержания. В России эксперимент повторил биоинформатик Михаил Гельфанд, который перевел статью на русский и отправил ее в якобы рецензируемый “Журнал научных публикаций аспирантов и докторов”. Заведомая бессмысленность не помешала статье “Корчеватель: алгоритм типичной унификации точек доступа и избыточности” получить положительную рецензию и быть опубликованной. Рецензент, если он существовал, не заметил даже встроенную в текст благодарность автора “профессору М. С. Гельфанду, привлекшему мое внимание к проблеме публикации случайных текстов”. Судя по всему, у пасхальных яиц, запрятанных глубже – в списке использованной литературы фигурировала статья автора по фамилии Софтпорн (от англ. soft porn, “мягкое порно”), – не было вообще никаких шансов привлечь внимание. Всего не менее ста рецензируемых журналов по всему миру опубликовали созданные с помощью SCIgen статьи.Причины закрытости рецензирования понятны: никто не хочет нажить себе врагов среди коллег. Единственный способ обойти проблему – распределить оценку на очень большое количество экспертов. Поскольку журналы не могут себе позволить платить за рецензии сотням или даже тысячам специалистов, приходится полагаться на волонтеров. Внедрить такой подход пытается, например, система EvidenceAlerts,
поддерживаемая канадским Университетом Макмастера. Она предлагает подписчикам отобранные статьи, прошедшие оценку панели из более чем пяти тысяч экспертов, выставляющих публикациям рейтинг доказательности.Другой подход пыталась внедрить система PubMed
. Экспериментальный сервис PubMed Commons давал возможность всем зарегистрированным пользователям оставлять комментарии к опубликованным статьям и обсуждать их. К сожалению, эксперимент провалился: за пять лет существования PubMed Commons к 20 миллионам содержащихся в базе работ было оставлено всего 6 тысяч комментариев, и проект закрылся. Критический анализ медицинских научных публикаций – процесс трудоемкий, и лишь у немногих хватает мотивации заниматься этим на общественных началах.Единственным распространенным и эффективным инструментом анализа публикаций пока остаются вторичные исследования
, по праву занимающие место на вершине современной версии пирамиды доказательств. В первую очередь это систематические обзоры. Обзор литературы – распространенный жанр, но систематическим он может называться, только если содержит детальное описание методики поиска и критериев включения публикаций в обзор. Это нужно, чтобы любой мог оценить его объективность и при желании повторить. Доказательность систематических обзоров выше, чем у отдельных РКИ, поскольку они суммируют выводы всех исследований надлежащего качества на эту тему.Качество систематических обзоров зависит от использованной методики. Среди самых высококачественных – обзоры Кокрейна
(ранее – Кокрейновское сотрудничество), названной в честь Арчи Кокрейна некоммерческой организации. Она создана в 1993 году, чтобы помогать врачам, пациентам, законодателям и управляющим медицинской помощью организациям принимать основанные на доказательствах решения. Она объединяет несколько десятков экспертных групп и более 30 тысяч добровольцев по всему миру. Репутация Кокрейна столь серьезна, что он является официальным партнером ВОЗ, имеет право назначать своего представителя для участия в заседаниях ВОЗ и выступать на них с заявлениями.Систематический обзор часто включает метаанализ
– статистическую процедуру, которая суммирует данные из нескольких исследований и делает на их основании общий статистический вывод. Результаты метаанализа представляют в виде лесной диаграммы[238]. Вот как она выглядит.
Этот метаанализ был сделан для того, чтобы понять, применять ли кортикостероиды в случае риска досрочных родов. В конце 1970-х несколько исследований показали, что применение кортикостероидов увеличивает шансы ребенка выжить, поскольку снижает вероятность острого респираторного дистресс-синдрома (ОРДС) – воспалительного заболевания легких, часто приводящего к гибели новорожденного. Но выводы были неоднозначны, не все исследования продемонстрировали статистически значимый эффект.