Смерть экспертизы. Как интернет убивает научные знания

Действительно, ученые-естественники могли бы подчеркнуть, что сам по себе факт отзыва статьи говорит о профессиональной ответственности и контроле. У научных и медицинских журналов, наиболее авторитетных в своей области – например, у журнала New England Journal of Medicine – процент отзыва публикаций, как правило, выше. Но, правда, никто до конца не уверен, почему это так{105}. Возможно, потому, что большее число специалистов проверяют результаты, и это обнадеживает. А, быть может, потому, что все больше людей действуют в обход правил, чтобы попасть в самые лучшие журналы, и тогда это довольно печальная ситуация. Кроме того, срабатывает эффект публикации материала в престижном журнале: чем больше у них читателей, тем больше вероятность, что кто-то попытается использовать данные исследования в своей собственной работе, распространяя, таким образом, и дальше неверные данные.

Эталоном любого научного исследования является возможность воспроизвести результаты или, по крайней мере, ход эксперимента. Вот почему ученые и исследователи указывают ссылки в сносках: не только в качестве гарантии против плагиата, но и для того, чтобы их коллеги могли воспроизвести их работу. Так они словно бы заново осуществляют данное исследование и приходят (или не приходят) к тем же выводам. Если ученые занимаются фальсификацией результатов, тогда их выводы будет трудно воспроизвести, что дискредитирует их исследования.

Однако подобного рода проверка предполагает, что для начала кому-то должно понадобиться воспроизвести конкретное исследование. Обычная экспертная оценка не включает проведение повторных экспериментов; скорее, рецензенты читают статью, будучи заранее уверенными, что базовые стандарты исследования и все процедуры соблюдены. В первую очередь, они решают, важна ли данная тема, насколько качественны представленные сведения и подтверждает ли фактический материал сделанные выводы.

Конечно, для воспроизведения результатов исследования в таких точных науках, как химия или физика, требуется большая уверенность в достоверности фактов. Общественные науки, такие как социология и психология, опираются на исследования, связанные с личностью исследуемого человека и, таким образом, труднее воспроизводимы. По крайней мере, в естественных науках более четкие стандарты: если кто-то утверждает, что определенный вид пластика плавится при 100 градусах, тогда любой другой человек, имея образец такого же материала и горелку Бунзена, может проверить эти сведения. Когда сотню студентов-добровольцев просят поучаствовать в опросе или эксперименте, ситуация заметно осложняется. Результаты могут относиться, например, только к определенному времени или конкретному региону или быть искажены каким-то иным способом. В проекте исследования должны учитываться подобные моменты, но единственный способ проверить его – попытаться повторить эти эксперименты.

Это именно то, что должна была сделать команда исследователей в области психологии. Результаты данного исследования, по меньшей мере, удивили. Как сообщила в 2015 году газета New York Times, в ходе трудоемкой работы по воспроизведению сотни исследований, опубликованных в трех ведущих журналах по психологии, обнаружилось, что более половины добытых сведений не прошли повторной проверки.

«Анализ проводили психологи, изучающие данные научных исследований, многие из которых пожертвовали своим временем, чтобы перепроверить то, что считали важной работой… Подтвержденные исследования являлись частью ключевых данных, с помощью которых психологи оценивали поведение человека, его взаимоотношения с другими людьми, уровень знаний и память. Терапевты и педагоги опираются на подобные данные при принятии решений. И тот факт, что так много исследований было поставлено под сомнение, может вызвать недоверие к научной базе данных работ»{106}.

Такой итог является поводом для беспокойства, но можно ли расценивать это, как подлог? Неприемлемого качества исследование и недобросовестно выполненная работа – разные вещи. В большинстве подобных случаев проблема не в том, что воспроизведение исследования дало иной результат, а в том, что сами исследования были изначально «невоспроизводимы». То есть их выводы, возможно, и полезны, но другие исследователи не смогут провести тех же самых экспериментов с участием людей снова и снова.