Цифры врут. Как не дать статистике обмануть себя

Но если бы вы проводили исследование в поисках зависимости между пищевым отравлением и гриппом, контролируя наличие у человека температуры, то могло бы показаться, что дети с пищевым отравлением с меньшей вероятностью больны гриппом и что отравление как-то защищает от гриппа.

Это напоминает ситуацию с красивыми-или-талантливыми-но-редко-теми-и-другими актерами: возможно, если у вас температура, то у вас либо пищевое отравление, либо грипп, но, вероятно, не оба вместе. В данном случае смещение происходит не от того, что мы смотрим на определенную группу людей (на голливудских актеров). Тут проблема в том, что исследователь думает, будто контролирует искажающую переменную, чтобы устранить смещение, а на самом деле вводит переменную-коллайдер и случайно создает его.

Такой коллайдер – противоположность искажающей переменной: если искажающая переменная является причиной обеих переменных, которые вы рассматриваете, то тут они обе являются причиной коллайдера. Поэтому если контролирование искажающей переменной устраняет смещение, то контролирование коллайдера (или выбор по нему) может внести смещение. (Название «коллайдер» объясняется тем, что стрелки в нем сталкиваются.) Мы снова можем показать это на направленном ациклическом графе: помните, черная стрелка – это то, что мы пытаемся исследовать, а белые стрелки показывают, что на что влияет:

Реальные примеры коллайдеров в здравоохранении были впервые обнаружены в 1978 году, а с тех пор появлялись еще несколько раз.

Происходит ли что-то подобное с ковидом и курением? Возможно. В мае 2020-го вышел препринт, где рассматривался вопрос о том, каким образом ошибка коллайдера может искажать наше понимание пандемии коронавируса. Там отмечалось, что, несмотря на значительное число наблюдений, исследуемые пациенты не всегда отражали состав населения в целом, потому что их отбирали по вполне определенным причинам.

В случае с курением, отмечалось в статье, на раннем этапе пандемии тестировали не случайных людей. Часто это были медицинские работники. А медицинские работники курят меньше, чем население в целом.

Но другая категория часто тестируемых – люди с серьезными симптомами. Таким образом, тест на ковид делали медицинским работникам и людям с тяжелым течением ковида, и в случае положительного результата их госпитализировали. Но свойство «быть медицинским работником» связано со свойством «не курить», поэтому среди тех, кто получил положительный результат теста на ковид, был выявлен большой процент некурящих медицинских работников.

Помните пример с привлекательными или талантливыми актерами? Это очень похожая ситуация. Только теперь мы отбираем не тех, кто «стал известным актером», а тех, кто «получил положительный тест на ковид». Для получения положительного теста вам надо или 1) иметь очевидные симптомы ковида, или 2) быть медицинским работником (а потому, вероятно, некурящим). Если вы не обладаете ни тем, ни другим свойством, то останетесь без теста, поэтому, рассматривая только тех, кому сделали тест, можно сделать вывод, что эти два свойства связаны, даже если это не так.

В препринте демонстрировалось, что даже если между некурением и тяжестью ковида нет никакой связи, некоторые реалистичные предположения о доле курящих среди населения в целом и их доле среди тестируемых групп могут создать впечатление о значительной корреляции. В настоящий момент нет уверенности, что курение не предохраняет от ковида, но поскольку это звучит не слишком правдоподобно, следует отнестись к этой гипотезе с большим подозрением.

Выявить ошибку коллайдера очень сложно. Например, некоторые ученые утверждают, что парадокс ожирения (тот факт, что страдающие ожирением реже умирают от диабета, чем люди с нормальным весом) объясняется именно ошибкой коллайдера, а другие ученые это опровергают. В настоящее время об этом идут большие споры. Если ученые не могут прийти к консенсусу о том, что является ошибкой коллайдера, а что – нет, вероятно, нечестно требовать от журналистов и читателей разбираться в этом. Но стоит помнить о том, что корреляция может сбивать с толку самыми разными способами, даже если в исследовании приняты все меры для контролирования других факторов. Иногда их контролирование может даже усугубить проблему.

Глава 22 Закон Гудхарта

В апреле 2020-го Великобритания, которая не слишком успешно боролась с ковидом, отчаянно стремилась внедрить систему тестирования.

Трудно сказать, почему у одних стран все получалось, а у других – нет; возможно, в будущем мы доберемся до истины. Но одно было заметно: многие государства, сумевшие на начальном этапе ограничить распространение инфекции, обладали эффективными системами тестирования. Великобритания в этом вопросе долгое время отставала.

Поэтому в начале апреля министр здравоохранения Мэттью Хэнкок объявил, что к концу месяца в стране будет делаться 100 000 тестов ежедневно. На тот момент их проводилось примерно 10 000.