Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Между тем p-значение, равное 0,5, означает, что вероятность фантомного результата 1 к 2. Такое происходит… ну, через раз. Подобные результаты повсеместны, словно сорняки. Так что в нашем случае, похоже, шоколад не влияет на уровень счастья.

Между этими ярко выраженными случаями лежит спорная территория. Как насчет p-значения 0,1? А как насчет 0,01? Говорят ли эти числа о том, что мы ловим фантомы или наши результаты достаточно экстремальные и, возможно, это вовсе не фантомы? Чем ниже p-значение, тем лучше; но ниже — это насколько низко?

2. Отладка фильтра фантомов

В 1925 году специалист по статистике по имени Р. А. Фишер опубликовал книгу под названием «Статистические методы для исследователей»^{65}. В ней он провел черту на песке: 0,05. Иными словами, будем отфильтровывать 19 из 20 фантомов^{66}.

Зачем допускать оставшийся 20-й фантом? Ну, вы можете установить порог ниже 5 %, если вам угодно. Сам Фишер предпочитал 2 % или 1 %. Но этот отсев ложноположительных результатов влечет за собой новый риск: ложноотрицательные. Чем больше фантомов вы изгоняете, тем больше истинных результатов может заодно пойти под нож.

Предположим, вы хотите выяснить, выше ли мужчины ростом, чем женщины. Подсказка: да. Но что, если ваша выборка порождает фантомы? Что, если вы возьмете высоких женщин и низкорослых мужчин и получите среднюю разницу всего один или два дюйма? Тогда строгий порог p-критерия может забраковать результат как фантом, даже если сам по себе он вполне подлинный.

Число 0,05 представляет собой компромисс между заключением в тюрьму ни в чем не повинных и освобождением виновных.

Сам Фишер никогда не имел в виду, что 0,05 — железобетонный критерий. В своей собственной карьере он проявлял замечательную гибкость. Однажды в одной и той же статье он одобрил p-значение 0,089 («есть некоторые основания подозревать, что распределение… не вполне случайно»), но отверг 0,093 («такая взаимосвязь, если она существует, недостаточно сильна, чтобы проявляться значительно»).

На мой взгляд, это осмысленный подход. Глупое постоянство — мелкий бес начинающих статистиков. Если вы скажете мне, что благодаря мятным леденцам после обеда исчезает неприятный запах изо рта (p = 0,04), я буду склонен вам поверить. Если вы скажете, что мятные леденцы лечат остеопороз (p = 0,04), я буду не столь убежден. Я признаю, что 4 % — низкая вероятность. Но, я полагаю, еще менее вероятно, что на протяжении десятилетий наука упускала из виду стойкую связь между здоровьем скелета и «Тик-таком».

Новые данные необходимо сопоставлять с нашими знаниями. Не все 0,04 созданы равными.

Ученые это понимают. Но в области, которая гордится стандартизацией и объективностью, сложно отстаивать нюансы персонифицированных суждений. И в XX веке в гуманитарных науках наподобие психологии и медицины статус границы «5 %» постепенно эволюционировал от «предложения» к «директиве» и «промышленному стандарту». p = 0,0499? Значимо. А p = 0,0501? Извините, попытайте счастья в следующий раз.

Означает ли это, что 5 % принятых результатов получены в силу случайности? Не совсем. На самом деле все наоборот: 5 % фантомов удовлетворяют критерию значимости. Казалось бы, разницы нет, но это не так.

Все гораздо страшнее.

Представьте, что p-значение — страж у врат цитадели науки. Он впускает истинно положительные результаты и отражает атаки варваров, то есть ложноположительных результатов. Мы знаем, что 5 % из них проскользнут внутрь, но в общем и целом это, похоже, неплохо.

Но что, если атакующих варваров в 20 раз больше, чем наших солдат? Тогда 5 % вторженцев — это ровно столько же, сколько всех бойцов на стороне цивилизации.

Хуже того, что, если на каждого верного долгу солдата приходится сотня варваров? Тогда 5 % атакующих подавят всю армию защитников цивилизации. Цитадель заполонят ложноположительные результаты, а истинно положительные будут жаться по углам.

Таким образом, опасность резко возрастает, когда ученые проводят чересчур много исследований, где истинный ответ отрицательный. Пение под фонограмму превращает вас в блондина? Начнется ли кислотный дождь, если вы наденете клоунские башмаки? Проведите миллион мусорных исследований, и 5 % пройдут фильтр. Их будет 50 000. Они захлестнут научные журналы, замелькают в заголовках новостей и сделают ленту «Твиттера» еще менее читабельной, чем обычно.

Если это никого особо не расстраивает, ситуация еще больше ухудшается. Сами того не желая, ученые снабдили варваров абордажными крюками и таранами.

3. Как плодятся фантомы?