Искусство статистики. Как находить ответы в данных

На рис. 12.1 представлен сильно упрощенный процесс поступления к нам статистических доказательств[256]. Он начинается с первоисточника данных, затем они, пройдя через лиц, принимающих решения, их пресс-службы, информационные подразделения, поступают к журналистам, которые пишут тексты, и редакторам, которые сочиняют к ним заголовки, и наконец доходят до нас – отдельных членов общества. Ошибки и искажения могут возникать на протяжении всего процесса.

Рис. 12.1

Упрощенная схема движения информационных потоков от первоисточников статистической информации до широкой публики. На каждом этапе есть фильтры, генерируемые сомнительными методами исследования, интерпретации и коммуникации, например избирательная отчетность, отсутствие контекста, преувеличение важности и так далее

Что происходит при печати?

Первый фильтр появляется при публикации статистического исследования. Многие работы вообще не издаются – либо из-за недостаточно интересных результатов, либо из-за несоответствия целям исследовательской организации: в частности, фармацевтические компании в прошлом часто обвиняли в сокрытии результатов исследований, которые их не устраивали. В итоге ценные данные оседают в «ящике стола», и создается положительное смещение для тех, которые появляются в печати. А мы не получаем необходимой информации.

Это положительное смещение усугубляется «открытиями», которые с большей вероятностью примут к печати в серьезных журналах, нежеланием публиковать повторные результаты и, конечно же, всеми сомнительными исследовательскими практиками, которые, как мы видели, могут привести к преувеличенной статистической значимости.

Пресс-служба

Еще больше потенциальных проблем возникает на следующем этапе схемы, когда научные материалы попадают в пресс-службы для освещения в СМИ. Мы уже видели, с каким энтузиазмом было воспринято исследование о социально-экономическом положении и риске опухолей головного мозга, в результате чего появился классический заголовок: «Почему поступление в университет повышает вероятность развития опухоли мозга». Эта пресс-служба не одинока в своих преувеличениях: одно исследование установило, что из 462 пресс-релизов британских университетов 2011 года

• 40 % содержали преувеличенные заявления;

• 33 % – преувеличенные утверждения о причинности;

• 36 % – преувеличенные последствия для людей на основании исследований на животных.

Та же группа обнаружила, что большинство преувеличений, появляющихся в прессе, можно отследить до выхода пресс-релиза. Несколько более обнадеживающие результаты та же команда нашла в 534 пресс-релизах от крупных биомедицинских журналов: преувеличения были в 21 % соответствующих пресс-релизов, хотя они не получили более масштабного освещения в прессе[257].

В главе 1 мы говорили, что подача чисел может влиять на их интерпретацию: например, «обезжиренный на 90 %» звучит лучше, чем «10 % жирности». Прекрасный пример изобретательного сочинительства появился, когда одно приличное, но довольно скучное исследование установило, что 10 % людей имеют ген, защищающий их от повышения кровяного давления. Отдел коммуникаций переформулировал это так: «Девять из десяти человек несут ген, который увеличивает риск развития гипертонии», и такая негативная формулировка получила широкое освещение в международной прессе[258].

Средства массовой информации

Журналистов часто винят за плохое освещение научных событий, хотя они во многом зависят от того, какую информацию им скармливают в пресс-релизах и научных статьях и как отражает их текст заголовок, позже вставленный редактором. Ведь мало кто из читателей газет понимает, что автор статьи, как правило, не имеет никакого отношения к созданию заголовков, задача которых – привлекать внимание читателей.

Основная проблема при освещении в СМИ не в откровенной неправде, а в манипуляции и преувеличении путем некорректной интерпретации «фактов»: они могут быть технически верными, но искажены тем, что мы называем «сомнительными методами интерпретации и коммуникации». Вот краткий список способов, как оживить подачу материалов по статистике в СМИ. И те, чья карьера зависит от привлечения читателей, слушателей и кликов, считают многие из этих сомнительных практик вполне оправданными.

1. Выбирать тексты, которые идут вразрез с текущим общим мнением.

2. Популяризировать тексты вне зависимости от качества исследований.

3. Не сообщать уровень неопределенности.

4. Не предоставлять контекст или сравнительные перспективы (например, долгосрочные тенденции).

5. Предполагать причинность, когда наблюдалась всего лишь связь.

6. Преувеличивать важность результатов.

7. Утверждать, что факты поддерживают какую-то установку или линию.

8. Использовать положительную или отрицательную подачу в зависимости от цели – успокоить или напугать.

9. Пренебрегать конфликтами интересов и альтернативными точками зрения.

10. Использовать яркую, но неинформативную графику.