0,05. Доказательная медицина от магии до поисков бессмертия

И в-третьих, как и в любом контролируемом эксперименте, чашки должны отличаться только изучаемым параметром, и больше ничем. Значит, разной может быть только последовательность, в которой чай и молоко наливают в чашку. Любые различия в температуре, количестве молока, сахара, крепости чая, способные повлиять на результат, нужно исключить. Но ведь приготовить две абсолютно идентичные чашки чая все равно невозможно, и небольшие отличия неизбежны.

После некоторого размышления Фишер велел приготовить восемь чашек. В четыре из них налили сначала чай, а затем молоко. В остальные – наоборот. Это делалось в стороне, чтобы испытуемая не знала, что пробует. Чашки подносили одну за другой, в случайном порядке, и, после того как дама давала ответ, Фишер молча записывал результат. По свидетельствам очевидцев, дама дала правильный ответ в каждой из восьми попыток.

В 1935 году Рональд Фишер издал книгу “Дизайн эксперимента”[101], где привел в качестве примера эту давнюю историю. Фишера абсолютно не интересовала природа удивительной способности дамы. Он не назвал ни имен, ни места, где проводился эксперимент, – об этом мы знаем только со слов других участников. Все, что имело для него значение, – ответы на вопросы, которые он задавал себе перед чайным экспериментом.

Книга оказала огромное влияние на подход к проведению контролируемых экспериментов и оценке их результатов. Именно благодаря ей и другим работам Фишера статистика и теория вероятностей стали неотъемлемой частью исследований, в том числе и медицинских.

Объясняя чайный эксперимент, Фишер ввел представление о нулевой гипотезе. Нулевая гипотеза – это предположение, что между изучаемыми явлениями, в данном случае это порядок приготовления чая и ответы дамы, не существует связи, а в контролируемых экспериментах – что отличия между группами носят случайный характер. Она является гипотезой по умолчанию, и только если эксперимент опровергает ее, у нас появляются основания предполагать, что связь все-таки есть.

Для проверки нулевой гипотезы Фишер предложил использовать тест на статистическую значимость[102]. Он определяет, какова вероятность получить наблюдаемые в ходе эксперимента значения при условии, что нулевая гипотеза верна[103]. Эту вероятность называют p-значение (пи-значение) или просто p (пи). Фишер предложил считать, что нулевая теория может считаться опровергнутой, если p-значение меньше 0,05.

Фишер рассчитал, что если бы в эксперименте использовалось по три, а не по четыре чашки чая каждого типа, то случайное угадывание всех шести чашек происходило бы в одном случае из двадцати[104], то есть p как раз было бы равно 0,05, и выбранный критерий не выполнялся бы. Поэтому он предложил использовать минимум восемь чашек, по четыре каждого типа. Тогда при всех правильных ответах значение p равно одному к семидесяти, или 0,014 в десятичных дробях[105], что меньше выбранного порога. В таком случае результат признается статистически значимым.

Этот подход прочно закрепился в исследовательской практике, в том числе и в медицинских экспериментах. В контролируемых клинических испытаниях нулевая гипотеза гласит, что эффект у изучаемого метода отсутствует, а наблюдаемые различия исходов в сравниваемых группах случайны. В подавляющем большинстве работ вы увидите расчет значения p, и очень часто результат будет считаться статистически значимым, если значение p меньше 0,05.

Важно помнить, что упомянутый Фишером порог p = = 0,05 – условен и был предложен как условие джентльменского соглашения между учеными. Разница между убедительностью результатов с p = 0,04 и с p = 0,06, конечно, гораздо меньше, чем для результатов с p = 0,04 и p = 0,001, хотя первые находятся по разные стороны условной границы, а вторые – по одну. И Фишер, и другие математики подчеркивали, что критерий p < 0,05 недостаточно строг, не годится для медицинских исследований[106], и рекомендовали другие пороговые значения, 0,01 и 0,001, но исследователи ухватились за наименее строгое, а значит, проще всего достижимое.

Что касается исключения ложноотрицательного результата, Фишер отметил, что чем меньше размер эффекта, то есть чем слабее способность леди угадывать, в какой последовательности были налиты молоко и чай, тем больше чашек чая потребуется для того, чтобы ее выявить.

Для описания вероятности ложноотрицательного результата рассчитывают статистическую мощность эксперимента. Чем выше статистическая мощность, тем меньше вероятность того, что мы ошибочно подтвердили нулевую гипотезу. Статистическая мощность медицинского исследования возрастает с увеличением количества участвующих в нем пациентов. Хотя столь же распространенных, как p < 0,05, стандартов допустимой вероятности ложноотрицательного результата не существует, часто ориентируются на статистическую мощность не менее 0,80.

Таким образом, исследователи находятся между двумя возможными ошибками: