Цифры врут. Как не дать статистике обмануть себя

Казалось бы: зачем говорить о таких явных ошибках? Однако их совершают сплошь и рядом. Как только происходит массовая стрельба, СМИ смотрят на биографию стрелка и находят, что тот играл в жестокие видеоигры. Дональд Трамп делал такие заявления после инцидентов со стрельбой в Эль-Пасо (Техас) и в Дейтоне (Огайо) в 2019 году.

Но это столь же очевидный пример выбора по зависимой переменной, как и в случае с водой и артритом. Вопрос не в том, играют ли организаторы массовой стрельбы в жестокие видеоигры, а в том, играют ли они в эти игры больше других людей. (А еще надо посмотреть на направление причинной связи: становятся ли они жестокими, потому что играют в жестокие игры, или играют в такие игры, потому что жестоки. О причинно-следственной связи мы говорили в главе 8.)

Так как подавляющее большинство молодых людей играет в жестокие видеоигры и почти все школьные стрелки – молодые люди, крайне вероятно, что любой из них играл в Call of Duty или какой-то другой шутер от первого лица. Сообщения, что массовый убийца играл в жестокую видеоигру, удивляют немногим больше, чем утверждение, что он ел пиццу или носил футболку. На самом деле минимум одно исследование показало, что распространение таких видеоигр приводит к снижению числа убийств. Возможно, просто потому что люди, которые могли бы выйти из дома и выплеснуть агрессию, остаются у себя в комнате и играют в Grand Theft Auto V.

Мы тут говорили о СМИ, но сильнее всего ошибка выжившего и выбор по зависимой переменной сказываются на источниках научных новостей. Медиа часто рассказывают об исследованиях, но очевидным образом только об опубликованных. Беда в том, что обнародованные работы – и те, что попадают в новости, – не единственные бомбардировщики, вылетающие с авианосца; это только те, что смогли вернуться на базу.

Как мы видели в главе 15, из-за погони за новизной чаще всего публикуются те исследования, в которых получились интересные результаты.

Предположим, вы тестируете антидепрессант. На самом деле он бесполезен, но вы пока этого не знаете. Если провести десять исследований (особенно небольших), результаты могут слегка разниться: пять покажут отсутствие эффекта; в трех окажется, что препарат вызывает ухудшение, а два продемонстрируют небольшое улучшение. Фактически препарат не работает, но чисто случайно разные испытания дают разные результаты.

А теперь вспомним главу 15: поскольку новый, интересный (а для производителя и выгодный) результат – «лекарство работает», те исследования, в которых препарат окажется эффективным, скорее будут опубликованы в научном журнале. Поэтому может случиться так, что результаты восьми работ, в которых обнаружили отрицательный или нулевой эффект, исследователь отложит в долгий ящик. И если кто-то захочет сделать обзор, то найдет только две опубликованные статьи с выводом, что антидепрессант работает. И тогда врачи могут начать его прописывать, потому что его эффективность, по-видимому, подтверждена научно.

Так и бывает в реальности, и это приводит к реальным проблемам и убивает реальных людей. Одно исследование показало, что в 94 % опубликованных статей об испытаниях антидепрессантов обнаруживаются положительные результаты, но когда учитываются и неопубликованные результаты, процент снижается до 51.

У этой ошибки есть и второй уровень: если вы читаете о научном исследовании в СМИ, значит, его сочли достаточно интересным для новости. «Новое исследование показало, что подгоревший тост на самом деле не вызывает рака» или «Фейсбук не засоряет детям мозги, обнаружили ученые» – вряд ли вызовут большой ажиотаж. Если вы прочли в газете о научном исследовании, вспомните, что оно уже выполнило два боевых задания и вернулось на базу. Это не значит, что оно неверное, – это просто повод проявить бдительность: вы же не знаете, сколько других исследований на эту тему были сбиты.

Итак: можно ли предсказать книге судьбу бестселлера с помощью алгоритма? Помогает ли мужской псевдоним издаваться женщинам? Неизвестно. Мы же не знаем, сколько женщин с мужскими псевдонимами не смогли опубликовать свои произведения. И может ли алгоритм с 97 %-ной вероятностью предсказать, что книга станет бестселлером? Почти наверняка нет, если только не были учтены все остальные книги, которые не стали бестселлерами или вообще не вышли. Можно рассмотреть всех стрелков и убедиться, что они играли в жестокие видеоигры, но это вовсе не говорит о том, что именно это толкает на убийства. Точно так же вы можете отыскать какие-то общие для всех бестселлеров характеристики лексики или сюжета, но кто знает, сказались ли на продажах именно они. Вы смотрите лишь на самолеты, добравшиеся до базы, и обращаете внимание лишь на пулевые отверстия в их крыльях.

Глава 21 Ошибка коллайдера