Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Тем не менее это все еще может означать, что мармеладные драже не вызывают угрей. При p-значении, равном 5 процентам, в 5 процентах исследований все равно будут получаться неожиданные результаты. Шансы выиграть в лотерею гораздо меньше, но и в лотерее бывают победители.

Здесь мы подходим ко второй численной проблеме в науке. В течение долгого времени многие общественные науки были маниакально одержимы p-значениями. Научные журналы предпочитали публиковать только значимые результаты; при этом многим исследователям приходилось существовать под лозунгом «Опубликуй или умри». Те, у кого не было достаточного количества публикаций, впадали в немилость. Именно поэтому некоторые ученые лихорадочно старались получить как можно более низкие p-значения. Такую деятельность называют p-hacking – «добычей p-значений».

Бывший профессор Корнеллского университета Брайан Вансинк вывел добычу p-значений на новую высоту. Он прославился благодаря исследованиям, которые, по его словам, показывали, что дети охотнее выбирают яблоки, на которых есть наклейки с персонажами «Улицы Сезам»[206], а с маленьких тарелок люди едят меньше[207]. Его открытия широко освещались в прессе, в том числе в New York Times, а при президенте Джордже Буше-младшем он был руководителем Центра политики в области питания при Министерстве сельского хозяйства.

Однако выяснилось, что в его работе было множество изъянов. Электронная переписка, просочившаяся в прессу в 2017 году, ясно показала, какими методами пользовались Вансинк и его коллеги. Например, одна из исследователей написала ему, что проанализировала данные по ресторану, работавшему по схеме шведского стола, но не получила никаких результатов. Вансинк написал в ответ: «Не думаю, чтобы у меня когда-либо было интересное исследование, в котором данные “проявились” бы с первого же подхода»[208]. Он предложил коллеге одну идею. «Подумайте обо всех возможных способах, которыми можно обрезать данные и проанализировать их подмножества, чтобы посмотреть, в каких из них связь сохраняется». Другими словами, он советовал перебирать все мармеладные драже, пока не найдется цвет, связанный с угрями.

Внезапно тот факт, что Шёнфельд и Иоаннидис обнаружили связь такого количества продуктов с раком, перестает казаться таким странным. Благодаря публикационным искажениям те работы, в которых связь не была обнаружена, так и не увидели свет, а исследователи занимались добычей p-значений, пока не нашли корреляцию, у которой эта величина была достаточно низкой. То, что эта корреляция была позитивной в одном случае и негативной в другом, не имело значения. Лишь бы она была значимой.

2. Отсутствие какого-либо фактора

В августе 1941 года Арчи Кокран получил от немцев партию дрожжей, и вскоре число пациентов с отеками в лагере военнопленных значительно сократилось. Однако нельзя утверждать с уверенностью, были ли причиной этого резкого спада заболевания именно дрожжи, потому что, когда Кокран представил немцам свои требования, он просил не только «много дрожжей, и немедленно», но и «как можно скорее увеличить рацион»[209]. Обе просьбы были встречены благосклонно. Сначала доставили дрожжи, а еще через несколько дней пленные получили и больше еды. Теперь они получали – все еще скудный – паек, обеспечивавший им по 800 килокалорий в день. В чем же была причина спада заболеваемости отеками? Она вполне могла заключаться в улучшенной диете.

Была и другая проблема. Выше мы говорили о том, что Кокран называл этот эксперимент лучшим и худшим в своей жизни, поскольку группы были слишком маленькими. Однако он называл и другую причину: он проверял не ту гипотезу. Кокран предположил, что причиной отеков лодыжек и коленей была болезнь бери-бери, поэтому экспериментировал с витамином B (дрожжами). Но в автобиографии он пишет, что наиболее вероятной причиной отеков был голод, а не бери-бери. От голодных отеков помогает не увеличение дозы витамина B, а усиленное питание. Почему же пациенты, участвовавшие в испытаниях с дрожжами, выздоровели? Это «загадка», пишет Кокран, но он подозревал, что причиной мог быть белок, содержащийся в дрожжах.

Это подводит нас ко второй «зазнавшейся корреляции» – пренебрежению фактором, который влияет как на «причину», так и на «следствие». Именно это произошло в истории Кокрана. Благодаря дрожжам пациенты потребляли больше витамина B («причина») и меньше страдали отеками («следствие»), но из этого не следует, что лекарством от отеков был именно витамин B. Эту ситуацию можно сравнить с примером с аистами и детьми, который приводит Хафф. На этот раз третьим фактором была не величина крыши, а прибавка пищи.