Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

8. Насколько все вообще правдоподобно? Если речь идет об исследовании с участием людей, полезно представить, будто вы сами были его участником[836]. Например, в случае работы по эпидемиологии питания подумайте, насколько точно при заполнении опросника по частоте потребления различных пищевых продуктов вы сумели бы вспомнить свои привычки, касающиеся перекусов, за последние десять лет или хотя бы за несколько последних недель. Наверняка ответ – “не очень уж точно”. Не выматывались бы вы к концу всех тестирований в поведенческом эксперименте и учитывалось ли это исследователями? Точно ли обстановка, в какой проводится исследование (скажем, лаборатория в университете), имитирует условия, которые, собственно, и интересуют ученых (например, как при собеседовании на высокую должность)? Иными словами, действительно ли исследование отвечает поставленной задаче? Когда вы ставите себя на место участника, это помогает определиться с подобными базовыми вопросами, касающимися правдоподобности работы.

9. Воспроизводилось ли исследование? Нам нужно прекратить всецело доверять отдельным работам. Надежнее, когда ученые повторно получили собственные результаты, а еще лучше, если их воспроизвели и другие исследователи из совершенно независимых лабораторий. Первое, что надо сделать, – поискать, не опубликованы ли какие-то исследования-повторения[837]. Еще может найтись обзор или метаанализ, посвященный основным результатам статьи или же сходным результатам, который покажет, не является ли интересующее вас исследование просто некой аномалией, а также вписываются ли его результаты в более общую теорию (помните, что заинтересовавшее вас исследование само может быть неудавшейся попыткой воспроизвести более ранний результат). Разумеется, обзоры и метаанализы и сами бывают искажены из-за публикационного смещения и плохого качества исходных работ; если вам удалось найти метаанализ исследований, каждое из которых было заранее зарегистрировано, вы сорвали джекпот – правда, сам я, кажется, никогда не сталкивался с таким уникальным случаем (хотя в будущем это может измениться, поскольку предварительная регистрация становится все популярнее). Естественно, нельзя рассчитывать на то, что существует работа, воспроизводящая интересующее вас исследование, если оно совсем свежее и новаторское, однако можно воздержаться от суждений о его достоверности, пока такая работа не появится.

10. Что думают об этом исследовании другие ученые? В лучших новостных материалах о научных работах обычно цитируются слова какого-нибудь независимого ученого, выражающего свое мнение, так что имеет смысл посмотреть, нет ли уже где-то отзывов. Есть и организации, занимающиеся этим систематически: например, британская благотворительная организация “Научный пресс-центр” всякий раз, как выходит пресс-релиз о новой статье, запрашивает комментарии и отзывы у многих независимых экспертов и публикует на своем сайте[838]. Это хороший пример того, как рецензирование может происходить даже после официального выхода статьи. Еще стоит поискать информацию на сетевых ресурсах вроде Pubpeer, анонимного сайта с комментариями к научным статьям, где впервые вскрылось, что изображения из публикации о стволовых клетках Харуко Обокаты подделаны, и где разоблачались хитрости еще многих других мошенников[839]. Поискать какие-нибудь блоги или любые сайты, где обсуждается статья, в Google или даже пошерстить в твиттере тоже бывает полезно, только нужно отдавать себе отчет, что таким образом можно обнаружить как грамотное, так и бестолковое, как серьезное, так и шутливое, как непредвзятое, так и предвзятое обсуждение исследования[840]. Если работа вышла не вчера, вы можете использовать функцию “Цитируется” в Google Scholar, чтобы посмотреть, есть ли на эту статью ссылки, и проверить, как ее чаще цитируют – в положительном или же отрицательном ключе[841].

Ни один из этих довольно общих приемов не идеален, и не все они применимы к каждому виду исследований. Очевидно, что всегда лучше обладать какими-то предварительными знаниями и опытом в определенной научной области, чтобы полнее оценить сильные и слабые стороны конкретного исследования. Впрочем, все лучше, чем просто принимать чьи-то утверждения за чистую монету.

Еще важно помнить, чему мы научились благодаря саге о Стивене Джее Гулде, Сэмюэле Мортоне и нескончаемых дебатах о размерах черепов: даже если вы читаете кажущуюся разгромной критику некоего исследования, сам критический разбор может оказаться ошибочным, как и критика критического обзора. Это относится и ко всему, о чем я написал в этой книге.