Цифры врут. Как не дать статистике обмануть себя

Разумно постараться определить, вокруг какой точки концентрируются результаты всех исследований, то есть чему равен средний результат. Вот почему в начале научной статьи обычно дается обзор литературы – чтобы поместить ее результаты в общий контекст исследований. Иногда исследователи публикуют метаанализ – научную статью, где анализируются все имеющиеся публикации с целью объединить их результаты. Если исследований достаточно много и если не было никакого систематического смещения ни в исследованиях, ни в публикациях (это два очень серьезных «если», как мы уже упоминали), то объединенный результат даст довольно точное представление об истинной величине эффекта.

Именно так развивается наука, по крайней мере в теории. Каждое новое исследование добавляется к стопке предыдущих. Теперь это новый набор данных, который, можно надеяться, в среднем приблизит общенаучное представление к реальности.

А теперь представьте, что публикуется новое исследование и ученые вместо того, чтобы сказать: «Это исследование уточняет, а возможно, слегка изменяет наше понимание реальности», спешно выбрасывают прежние публикации и говорят: «Это новое исследование показывает, что все предыдущие были неверными: теперь-то мы знаем, что рыбные палочки – причина храпа, забудьте все, что мы говорили раньше».

Вот что происходит каждый раз, когда журналист пишет о новой научной публикации: «Ошеломляющее открытие: причиной храпа оказались рыбные палочки», не поместив ее в контекст существующих результатов.

Спору нет: перед журналистами стоит трудная задача. В газетах же пишут о новостях, а главные научные новости – это публикации новых исследований. «Новое исследование мало о чем говорит, оно имеет смысл лишь в контексте ранее сделанных» – не самый захватывающий заголовок. К тому же большинство журналистов – как и большинство читателей – могут не осознавать, что научные статьи следует рассматривать не сами по себе, а как часть целого, поэтому они думают: «Ага, значит, на этой неделе красное вино полезно» или что-то подобное. Надо добавить, что финансовое положение многих СМИ постоянно ухудшается, поэтому научным журналистам часто приходится писать по пять, а то и больше новостей в день. Порой им элементарно не хватает времени выйти за пределы пресс-релиза, не говоря уж о том, чтобы позвонить другим ученым и поместить новые результаты в существующий контекст.

Но это серьезная проблема, потому что таким образом читатели получают искаженное представление и об опасности определенных вещей, и о накоплении научных знаний. Если связь между рыбными палочками и храпом, по-видимому, меняется еженедельно – с каждым новым исследованием, – читателям простительно думать, что развитие науки по сути сводится к переходу от одной выдумки к другой.

Одно дело – нелепый мысленный эксперимент о рыбных палочках и храпе. Но и в реальной жизни подобное происходит постоянно. Если продолжать придираться к Daily Mail, то поиск на их сайте по фразе «new study says» («новое исследование показало») выдает более пяти тысяч результатов на различные темы, вроде влияния ожирения на работу мозга, взаимосвязи социальных сетей и стресса, продлевает ли кофе жизнь. Это все настоящие исследования? Да. Каждое ли из них точно передает современный научный взгляд на предмет? Необязательно.

И все становится еще серьезнее. В 2017 году внимание прессы привлекло исследование, в ходе которого обнаружили, что в мозгу у людей с аутизмом высок уровень содержания алюминия. За этим исследованием не стоят другие публикации – до сих пор попытки обнаружить заметное влияние окружающей среды на развитие аутизма не увенчались успехом, – тем не менее оно увеличило опасения, связанные с прививками (потому что некоторые вакцины содержат этот металл).

Прародителем всех этих страхов перед прививками, которые якобы вызывают аутизм, была статья Эндрю Уэйкфилда с соавторами, опубликованная в 1998 году в журнале The Lancet. В ней утверждалось, что существует связь между прививкой MMR (против кори, эпидемического паротита и краснухи) и аутизмом; эта статья тоже не подкреплялась никакими другими работами. Единичное небольшое исследование дало неожиданный результат: при взвешенном подходе к научным публикациям оно бы не вызвало особого интереса, даже если бы не оказалось фальсифицированным. Но из-за распространенной тенденции воспринимать такие работы как непреложную истину, а не как еще один штрих к картине мироздания, эта статья вызвала гигантскую волну страха и привела ко всемирному падению уровня вакцинации. В результате корь убила несколько детей или стала причиной их инвалидности. Иногда, пусть и изредка, важно точно оценивать значимость отдельно взятого исследования для науки в целом (обычно она не очень высока).