• ложноположительным результатом, когда мы ошибочно отвергаем нулевую гипотезу и думаем, что нашли эффект, хотя на самом деле его нет, – такие ошибки называют
• ложноотрицательным результатом, когда мы ошибочно подтверждаем нулевую гипотезу и не замечаем реально существующий эффект, – такие ошибки называют
Рандомизация – неслучайная случайность
Ответ на третий вопрос чайного эксперимента тоже имел далеко идущие последствия. Напомню, что Фишер задумался о том, как исключить влияние небольших отличий, которые неизбежно возникнут в процессе подготовки к тесту. В медицинских исследованиях эта проблема еще значимее: найти две группы людей, одинаковых во всех отношениях, куда сложнее, чем приготовить две одинаковые чашки чая.
Сравнимость групп – основа и необходимое условие контролируемого исследования. Пациенты разные, и болезнь у них протекает по-разному. Если в одной группе средний возраст пациентов ниже или болезнь изначально протекает легче, чем в другой, то после лечения состояние пациентов может различаться, даже если лекарство не работает. Возникает риск приписать препарату несуществующий эффект.
☛ Сравнение изначально разных групп может привести к достаточно контринтуитивным последствиям. Так, в 1986 году были опубликованы результаты сравнения эффективности разных методов лечения почечных камней. Авторы пришли к выводу, что чрескожная нефролитотомия[107]
эффективнее, чем открытая: в первом случае успешны были 83% (289 из 350) операций, а во втором – лишь 78% (273 из 350). Однако сравнение результатов удаления небольших (< 2 см) и больших (> 2 см) камней дало неожиданный результат. В обоих случаях открытая оказалась эффективнее. Для маленьких камней открытая была эффективна в 93% случаев против 87%. А для больших – в 73% случаев против 69%.Этот эффект называется парадоксом Симпсона, хотя никакого парадокса тут на самом деле нет. Причина в том, что удаление маленьких камней (суммарно 88% успешных операций) эффективнее, чем удаление больших (суммарно 72% успеха) при любом из методов. Пациентов распределяли между двумя видами лечения неравномерно: тем, у кого были маленькие камни, чаще назначали операцию с маленьким разрезом, а при больших – открытую. Поэтому среди тех, кого лечили чрескожной нефролитотомией, преобладали пациенты с маленькими камнями, а среди тех, кого лечили открытым методом, – с большими. Это и привело к иллюзии более высокой эффективности чрескожной нефролитотомии.