Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Чтобы оценить силу этого хакерского p-взлома, я смоделировал на компьютере исследование «Кто лучше играет в орлянку?». Проще простого: два «человека» (читай: столбцы чисел) подбрасывают десять монет. Затем мы проверяем, у кого больше решек. Проведя 20 экспериментов, я добился значимого результата один-единственный раз. Вы ожидаете от p-значения именно этого: 20 попыток, один фантом. Сердце бьется ровно.

Затем я пустился во все тяжкие. Подбросьте еще одну монету. И еще одну. И еще одну. Остановите исследование, если p-значение опустится ниже 0,05 (или мы безуспешно подбросим тысячу монет).

Результат преобразился. На сей раз 12 из 20 экспериментов дали значимый результат[177].

Такие фокусы не вполне научны, но это и не бесстыдное мошенничество. Три автора назвали такого рода методы в своей статье «стероидными препаратами научных исследований, которые искусственно повышают эффективность и порождают что-то вроде гонки вооружений, в которой добросовестные исследователи, соблюдающие правила, находятся в невыгодной позиции».

Есть ли способ выровнять игру?

4. Война с фантомами

Кризис, связанный с тиражированием фантомов, оживил старое соперничество между двумя бандами статистиков: частотниками и байесовцами.

Со времен Фишера приверженцы частотной вероятности имели превосходство. Их статистические модели основаны на нейтральности и минимализме. Долой субъективные суждения. Долой тенденциозность. При подсчете p-критерия нам плевать, какую гипотезу мы проверяем — безумную или надежную. Время субъективного анализа наступит позже.

Байесовцы^{67} отвергли эту беспристрастность. Почему специалисты по статистике должны притворяться, что не видят различий между правдоподобными и абсурдными гипотезами, как будто все 0,05 созданы равными?

Байесовская альтернатива работает примерно следующим образом. Вы начинаете с предварительной оценки вероятности того, что ваша гипотеза верна. Мятные леденцы устраняют неприятный запах изо рта? Очень даже может быть. Мятные леденцы лечат кости? Крайне маловероятно. Вы формулируете эту оценку на математическом языке с помощью так называемой формулы Байеса. Затем, по итогам эксперимента, статистика поможет обновить предварительное суждение, сопоставляя прежние знания и новые данные.

Байесовцам безразлично, пользуемся ли мы условным фильтром фантомов, чтобы отсеять ложные результаты. Они заботятся о том, позволяют ли новые данные поколебать наши предварительные оценки.

Байесовцы чувствуют, что пробил их час. Они утверждают: режим приверженцев частотной вероятности потерпел крах и пришло время провозгласить новую эру. Поклонники частотной вероятности парируют: предварительные суждения слишком произвольны, чересчур уязвимы, дают широкие возможности для злоупотреблений. Они предлагают свои собственные реформы, например снижение порога p-значения от 0,05 (т. е. 1 из 20) до 0,005 (т. е. 1 из 200)[178].

Пока специалисты по статистике предаются размышлениям, наука не стоит на месте. Исследователи в области психологии начали медленный, сложный процесс борьбы с хакерскими взломами p-значения. Они составили манифест реформ во имя прозрачности: предварительная регистрация исследований; перечисление всех измеренных переменных; регламент, заранее предписывающий, когда прекращать сбор данных и в каких случаях исключать значения, которые резко выделяются на общем фоне. Все это означает: если ложноположительные результаты проскочили фильтр p-значения ниже 0,05, вы можете заглянуть в статью и ознакомиться с результатами 19 предыдущих неудачных попыток. Один эксперт сказал мне, что эти реформы существенно важнее, чем вопросы математической философии.

Между прочим, моя дипломная работа отвечает большинству из этих стандартов. Я перечислил все собранные переменные, не исключал резко выделяющиеся результаты и разъяснил, что анализ носит предварительный характер. Тем не менее, когда я показал эту главу Кристине, она заметила: «Забавно читать в 2018 году диплом десятилетней давности. Сегодня все мои студенты предварительно фиксируют свои гипотезы, размеры выборки и т. д. Насколько же мы выросли и как многому мы научились!»

Все это должно замедлить поток варваров, прорывающихся сквозь ворота. Однако еще остается проблема с теми варварами, что засели внутри цитадели науки. Есть всего один способ выявить их: повторные исследования.

Представьте, что тысяча человек предсказывают, как выпадут десять монет. Скорее всего, одна из догадок окажется верной. Но, прежде чем вы начнете щелкать селфи с новоиспеченным другом-экстрасенсом, нужно повторить эксперимент. Попросите его снова (и, возможно, еще пару раз) предсказать, как выпадут десять монет. Настоящий экстрасенс выдержит это испытание. Тот, кому просто повезло, сядет в лужу.

То же самое относится ко всем положительным результатам. Если вывод верен, повтор эксперимента в принципе должен привести к тому же выводу. Если вывод ложен, он рассеется, как мираж.