Эта идея должна умереть. Научные теории, которые блокируют прогресс

В молодости у Готфрида Вильгельма Лейбница была прекрасная мечта: открыть систему исчисления, позволяющую изобразить любую отдельно взятую идею в мире в виде символов. Подобное универсальное исчисление могло бы положить конец всем научным дебатам. К примеру, любое эмоционально накаленное обсуждение в рамках Edge.org можно было бы легко завершить при помощи бесстрастных точных расчетов. Лейбниц с большим оптимизмом предполагал, что разработать подобную систему исчисления небольшая группа людей могла бы всего за 5 лет.

Однако до сих пор никому, включая и самого Лейбница, так и не удалось найти этот Священный Грааль.

Тем не менее мечта Лейбница жива и даже процветает в области социальных наук и неврологии. Поскольку нам так и не удалось найти главный объект этой мечты, на его место приходят объекты-заменители. В некоторых областях это множественная регрессия, в других – байесовская статистика. Однако подлинным чемпионом считается так называемый «нулевой ритуал»:

1. Сформулируйте нулевую гипотезу «отсутствия разницы в среднем» или «нулевой корреляции». Не уточняйте предсказания своих собственных исследовательских гипотез.

2. Используйте 5-процентную погрешность как условие для отказа от нулевой гипотезы. Если результат окажется статистически значимым, примите свою исследовательскую гипотезу как верную. Сформулируйте результат в виде P < 0,05, P < 0,01 или P < 0,001, в зависимости от того, к какому условию оказывается ближе полученное вами P-значение.

3. Всегда используйте эту процедуру.

Мы не должны ни на минуту верить, что эта процедура имеет что-то общее с корректной статистикой. Сэр Рональд Фишер, которому совершенно неверно приписывается этот метод, на самом деле писал, что исследователям нельзя использовать один и тот же уровень статистической значимости от эксперимента к эксперименту. Узнав о том, как этот метод применяется в наши дни, знаменитые статистики Ежи Нейман и Эгон Пирсон наверняка перевернулись бы в своих гробах. Приверженцы байесовской статистики также с подозрением относятся к P-значениям.

Однако стоит вам открыть любой журнал по психологии, бизнесу или нейробиологии, и вы наверняка увидите на его страницах массу примеров P-значений. Вот лишь несколько иллюстраций. В 2012 году среднее количество P-значений, приведенных в Academy of Management Journal, главном прикладном журнале в области управления, составляло в среднем 116 на статью (в диапазоне от 19 до 536)! Вы можете подумать, что такова специфическая особенность науки менеджмента. Тогда скажу, что 89 % всех поведенческих, нейропсихологических и медицинских исследований с участием добровольцев, результаты которых были опубликованы в 2011 году в журнале Nature, сообщили лишь о P-значениях – и даже не рассматривали такие понятия, как величина эффекта, доверительные интервалы или максимальное правдоподобие.

Ритуал представляет собой коллективную или индивидуальную церемонию, состоящую из действий, совершаемых в заранее предписанном порядке. Обычно он включает в себя некие священные числа или цвета, нежелание подумать о том, почему вы вообще совершаете те или иные действия, а также страх наказания за то, что вы перестанете их совершать. И все эти свойства в полной мере присутствуют в нулевом ритуале.

Слова «5 процентов» тоже считаются священными, поскольку предполагается, что именно эта величина позволяет нам увидеть разницу между реальным эффектом и случайным шумом. В ходе исследований в области функциональной магниторезонансной томографии числа заменяются цветами, и мозг на мониторе прибора расцвечивается всеми красками.

Масштаб распространения этой бредовой идеи поражает. Если бы психиатры хотя бы немного уважали статистику, то наверняка включили эту аберрацию в «Руководство по диагностике и статистическому учету психических расстройств». Исследования, проведенные в США, Великобритании и Германии, показывают, что большинство исследователей вообще не понимают (или не хотят понимать), что такое P-значение. Они путают его с вероятностью гипотезы или с каким-то другим обманчивым понятием – таким как вероятность репликации данных. В ведущих научных журналах можно встретить потрясающие примеры подобных ошибок. К примеру, для того чтобы выяснить, различаются ли между собой два средних значения, мы должны протестировать степень их различия. Однако при этом не следует сравнивать каждое из этих средних значений с какой-то общей точкой отсчета (например, вот так: «Нейронная активность повысилась у испытуемых, прошедших обучение (Р < 0,05), но не в контрольной группе (Р > 0,05)». В 2011 году в Nature Neuroscience был опубликован анализ неврологических статей в журналах Science, Nature, Nature Neuroscience, Neuron и The Journal of Neuroscience. И если в 78 статьях со статистикой все было в порядке, то в 79 были описаны некорректные процедуры.