Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Поучителен пример с препринтом 2016 года, написанным гарвардским экономистом Роландом Фрайером на одну из самых спорных тем, касающихся современной американской действительности, – о применении полицией силы против чернокожих людей[760]. Анализ Фрайера по большей части основывался на подробных данных об арестах, произведенных полицией в Хьюстоне, штат Техас. Результаты оказались парадоксальными: хотя против чернокожих и латиноамериканцев более чем на 50 % чаще, чем против белокожих, во время задержаний применялась сила с несмертельным исходом, в отношении силы со смертельным исходом все было как раз наоборот – “шансы чернокожих быть застреленными полицией на 23,8 % меньше по сравнению с белокожими”[761]. Препринт привлек внимание общественности благодаря передовице в газете The New York Times (“Удивительные новые данные свидетельствуют о предвзятости при применении полицией силы, но не при стрельбе”), где цитировались слова Фрайера “самый неожиданный результат в моей карьере”[762]. Это быстро подхватили обозреватели-консерваторы, недовольные движением Black Lives Matter (“Жизни чернокожих имеют значение”) против насилия со стороны полиции. Один из них написал, что исследование Фрайера “доказывает”: движение “построено на лжи”[763].

Значение 23,8 % получилось у Фрайера просто на основании сырых данных. В исследовании были далеко не только они, но при освещении в средствах массовой информации остальное, к сожалению, затерялось, особенно после того, как Фрайер сам обратил внимание журналистов на это конкретное число. После внесения поправок на другие детали каждого случая, такие как наличие оружия у задержанного, результат поменялся на противоположный: в сопоставимых ситуациях вероятность быть застреленными у чернокожих превышала таковую у белокожих. Это различие между необработанными и скорректированными результатами согласуется с расовыми предрассудками в рядах полиции: именно такой эффект можно было бы наблюдать, если бы полицейские просто арестовывали больше чернокожих вообще, независимо от того, представляли ли те угрозу, и чаще застреливали бы чернокожих арестованных при обострении ситуации. Иными словами, число чернокожих задержанных, которых застрелили, было размыто, поскольку сырые данные включали в себя множество не представлявших угрозы чернокожих, которых арестовали без всякой причины[764]. Однако не стоит вкладывать сюда особый смысл и придавать всему этому слишком большое значение: выборка Фрайера чересчур мала. Различие в 23,8 % даже не является статистически значимым[765]. Ограничься Фрайер подчеркиванием только статистически значимых результатов, всей этой полемики вообще бы не возникло.

Если бы журналисты The New York Times дождались опубликованной версии статьи, которая вышла в апреле 2019 года, они обнаружили бы подачу информации под несколько иным углом: в аннотации выражение “на 23,8 % меньше” было опущено и просто отмечалось, что различий по показателю летальности между чернокожими и белокожими людьми не найдено[766]. Хотя и это любопытно, такая формулировка была довольно большим отступлением от первоначального утверждения Фрайера. Итак, мораль этой истории в том, что надо остерегаться ученых с препринтами? Поскольку препринты можно разместить в интернете без какого-либо надзора, нам точно нужно относиться к ним особо скептично, а ученые должны иметь интеллектуальную скромность, чтобы не обнародовать свою работу до того, как ее хотя бы просмотрят коллеги[767].

По мере изменения научной экосистемы журналисты будут все четче понимать, что у научной публикации существуют различные “стадии” и следует с особой осторожностью относиться к работам, находящимся на стадиях ранних. Вскоре после начала пандемии коронавируса (COVID-19) в 2020 году на крупнейшем сервере препринтов по биологии появились работы, вызвавшие широкое обсуждение происхождения и действия вируса. Некоторые из этих препринтов, явно низкого качества, были написаны в спешном порядке, чтобы извлечь выгоду из раздуваемой в средствах массовой информации истерии вокруг пандемии. Другие содержали формулировки, словно бы разжигающие – непреднамеренно или наоборот – теорию заговора: что вирус якобы специально разработали как биологическое оружие. В ответ на это (и в дополнение к своему постоянному предупреждению, что размещаемые ими препринты не рецензируются) архив добавил в верхнюю часть каждой страницы следующую запись:

Напоминание: это предварительные отчеты, не проходившие рецензирование. Они не должны рассматриваться как окончательные, направлять клиническую практику и поведение в отношении здоровья или освещаться в новостях как подтвержденная информация[768].