Голая статистика. Самая интересная книга о самой скучной науке

В силу всех перечисленных причин количество экспертных исследований, результаты которых оказались ошибочными, очень велико. Джон Иоаннидис, греческий врач-эпидемиолог, проанализировал итоги сорока девяти исследований, опубликованных в трех солидных медицинских журналах{84}. Каждое из них цитировалось в медицинской литературе не менее тысячи раз. Тем не менее примерно треть результатов впоследствии была опровергнута дальнейшими экспериментами. (Например, некоторые из исследований, проанализированных Иоаннидисом, доказывали эффективность упоминавшейся выше терапии путем замещения эстрогена.) По оценкам д-ра Иоаннидиса, выводы примерно половины опубликованных научных статей в конце концов оказываются ошибочными{85}. Его исследование было опубликовано в Journal of the American Medical Association, одном из журналов, в которых печатались проанализированные им статьи. Из этого следует забавный парадокс: если исследование д-ра Иоаннидиса верно, то вполне вероятно, что его исследование ошибочно.

Регрессионный анализ по-прежнему остается потрясающим статистическим инструментом. (Похоже, мои эпитеты в его адрес заставляют относиться к нему как к «волшебному эликсиру», о котором я упоминал в предыдущей главе. Разумеется, мои слова не лишены некоторого преувеличения.) Он позволяет выявлять важные закономерности в крупных совокупностях данных, которые зачастую оказываются ключом к серьезным исследованиям в медицине и социальных науках. Статистика предоставляет нам объективные стандарты для оценивания этих закономерностей. Регрессионный анализ, при надлежащем использовании, – значимая составляющая научного метода. Считайте эту главу предупреждением, к которому обязательно нужно прислушаться.

Все конкретные предостережения, о которых шла речь в этой главе, можно свести к двум ключевым положениям. Во-первых, создание эффективного уравнения регрессии – то есть определение, какие переменные нужно проанализировать и что должно быть источником соответствующих данных, – важнее самих статистических вычислений. Этот процесс называется оцениванием адекватности уравнения или выбором правильного уравнения регрессии. Лучшие исследователи – те, кто может путем логических умозаключений решить, какие переменные включить в уравнение регрессии, какие проигнорировать и как следует интерпретировать конечные результаты.

Во-вторых, как и большинство других статистических выводов, регрессионный анализ выстраивает лишь некую версию, основанную на косвенных доказательствах. Зависимость между двумя переменными подобна отпечаткам пальцев, оставленным на месте преступления. Она указывает на преступника, но одних лишь отпечатков недостаточно, чтобы осудить человека. (К тому же они могут ему не принадлежать.) Любой регрессионный анализ нуждается в теоретическом обосновании. Почему в уравнение регрессии включены именно эти объясняющие переменные? Какие явления из других областей могут объяснить наблюдаемые результаты? Например, почему мы считаем, что красные туфли у экзаменуемых способствуют значительному улучшению результатов сдачи школьных экзаменов или что употребление попкорна помогает предотвратить рак простаты? Соответствующие результаты должны быть повторно воспроизводимыми или по крайней мере не должны противоречить итогам других исследований.

Даже волшебный эликсир может не оказать должного эффекта, если не пользоваться им так, как предписано.

13. Программы статистического оценивания Изменит ли вашу жизнь поступление в Гарвардский университет

Блестящие исследователи в области социальных наук блестящие вовсе не потому, что умеют выполнять в уме сложные вычисления и выигрывают в телевикторине Jeopardy[71] больше денег, чем обычные исследователи (хотя, возможно, они преуспели и в том и в другом). Блестящие исследователи – это те, кто существенно меняет наши знания и представления о мире и находит творческие способы проведения управляемых экспериментов. Чтобы измерить чье-либо влияние, нам требуется нечто такое, относительно чего мы будем выполнять измерение. Как сказалось бы на вашей жизни поступление в Гарвардский университет? Чтобы ответить на этот вопрос, вам нужно знать, что произойдет после того, как вы поступите в Гарвардский университет, и что произойдет после того, как вы в него не поступите. Очевидно, вы не можете располагать данными для обоих случаев. Тем не менее умные исследователи находят возможность сравнить то или иное «воздействие» (например поступление в Гарвардский университет) с его противоположным сценарием.