Думай «почему?». Причина и следствие как ключ к мышлению

Другой ключевой момент в эксперименте Даниила в том, что он предполагался в будущем, а экспериментальные группы были подобраны заранее. По контрасту представьте, что вы смотрите рекламный ролик, в котором 20 человек все как один рассказывают, что сбросили вес на такой-то диете. Со стороны это довольно приличная выборка, поэтому некоторым зрителям ролик кажется убедительным. Но на самом деле это означает, что принимать решение придется, основываясь только на опыте людей, для которых она заведомо сработала. Из жизненного опыта вы знаете, что на одного человека, которому диета помогла, приходится десяток таких же, как он или она, которые тоже ее пробовали, но безрезультатно. Но их, конечно, не станут показывать в рекламном ролике.

По всем этим показателям эксперимент Даниила был очень современным. Контролируемые заранее планируемые эксперименты по-прежнему остаются фирменным знаком хорошей науки. Однако об одной важной вещи Даниил не подумал: это систематическая ошибка. Допустим, что Даниил и его друзья изначально здоровее, чем контрольная группа. В этом случае их здоровый внешний вид на десятый день диеты может быть никак не связан с самой диетой: он лишь отражает их общее здоровье. Не исключено, что они выглядели бы даже лучше, если бы согласились есть мясо со стола царя!

Рис. 21: Самая базовая версия путаницы: Z — это путаница в предполагаемой причинно-следственной связи между X и Y.

Систематическая ошибка наблюдается, когда некая переменная влияет на представителей одновременно и подопытной, и контрольной групп. Иногда эти вмешивающиеся переменные известны; в других случаях о них можно только догадываться и они действуют как скрытые переменные. На каузальной диаграмме вмешивающиеся переменные, или конфаундеры, легко распознать: на рис. 21 переменная Z в центре вилки осложняет переменные X и Y (позже мы увидим более универсальное определение, но такой треугольник — самая узнаваемая и распространенная ситуация). Из диаграммы легко понять, почему вмешивающуюся переменную называют конфаундером. Истинный каузальный эффект X → Y осложняется ложной корреляцией между ними, возникающей в результате вилки X ← Z → Y. Например, если мы тестируем некое лекарство и даем его пациентам, которые в среднем моложе, чем контрольная группа, возраст становится конфаундером — скрытой третьей переменной. Если у нас нет данных по возрастам испытуемых, мы не сможем отделить истинный эффект нашего препарата от ложного эффекта.

Однако верно и обратное. Если у нас есть измерения третьей переменной, то разделить истинный и ложный эффекты становится очень просто. Так, если вмешивающаяся переменная — это возраст, мы сравниваем опытную и контрольную группу в каждой возрастной группе отдельно. Затем можно усреднить воздействие, подсчитывая вес каждой группы соответственно ее проценту в целевой популяции. Этот метод компенсации знаком всем статистикам: он называется «корректировка по Z» или «поправка по Z».

Как ни странно, статистики одновременно и недо-, и переоценивают важность корректировки по конфаундеру. Переоценка заключается в том, что поправки вводятся по слишком многим переменным или даже по переменным, по которым их вводить неправильно. Недавно я наткнулся на цитату из политического блогера по имени Эзра Кляйн, в которой эта гиперкорректировка описана весьма точно: «В статьях это попадается постоянно. „Мы скорректировали данные по…”. Далее следует список, чем он длиннее, тем лучше. Уровень дохода. Возраст. Раса. Религия. Рост. Цвет волос. Сексуальные предпочтения. Регулярность посещения спортзала. Любовь к родителям. Кока-кола или пепси-кола. Чем больше корректировок, тем значительнее ваша статья. Ну или, по крайней мере, тем значительней она выглядит. Поправки дают ощущение конкретики, точности. Но иногда поправок слишком много, и в результате вы корректируете как раз то, что хотите измерить». Кляйн затрагивает важную тему. В статистике давно образовалось непонимание того, какие переменные следует, а какие не следует корректировать, поэтому по умолчанию поправки стали вводить для всего, что только можно измерить. Подавляющее большинство современных работ поддерживают эту практику. Это удобная и несложная процедура, но она одновременно тратит впустую время и создает ошибки. Ключевое достижение Революции Причинности в том, что она положила конец этой путанице.

В то же время статистики сильно недооценивают корректировку в том смысле, что вообще избегают говорить о причинности, даже если все поправки сделаны верно. Это тоже противоречит основной идее этой главы: если вы обнаружили значительный набор вмешивающихся переменных в диаграмме, получили по ним данные и ввели по ним поправки, то у вас есть полное право сказать, что вы подсчитали причинностное воздействие X → Y (при условии, конечно, что ваша диаграмма научно обоснована).