Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее

Такое исследование – большой труд. Источники в медиа могут делать ложные выводы и редко предоставляют необходимую информацию, которая позволит вам понять весь замысел эксперимента и оценить его качество. Как правило, за подробной информацией вам придется обратиться к оригинальной научной публикации. Почти во всех научных журналах есть целый раздел, описывающий статистический план исследования, но, учитывая ограничение на количество слов в типичной статье, детали иногда опускают. Ищите полные версии или связанные презентации на сайте журнала – можете даже обратиться напрямую к ученым, обычно они охотно отвечают на вопросы о своей работе.

При идеальном раскладе вы найдете блок из большого числа исследований, которые сотрут все сомнения по поводу случайности результата эксперимента. Если повезет, кто-то уже написал систематический обзор вашего вопроса к исследованию. Систематические обзоры – это организованный способ оценки вопроса с использованием всего объема исследований по определенной теме. Они описывают подробный и всесторонний (систематический) план для обзора результатов исследований в определенной области, включая поиск соответствующих исследований, чтобы исключить систематические ошибки в процессе.

Некоторые, но не все систематические обзоры включают в себя метаанализ, где используются статистические методы для объединения данных из нескольких исследований. Хороший пример – сайт FiveThirtyEight, который специализируется на метаанализе данных из опросов, чтобы лучше прогнозировать развитие событий в политике.

Помимо преимуществ, таких как точность и достоверность оценок, у метаанализа есть и недостатки. Например, сложно комбинировать данные из исследований, где слишком сильно отличаются планы или популяция выборок. Они также не могут самостоятельно устранять искажения из оригинальных исследований. Кроме того, и систематические обзоры, и метаанализ подвержены искажению публикации, потому что включают в себя только общедоступные результаты исследований.

Всякий раз, рассматривая обоснованность утверждения, вначале мы проверяем, проводился ли всеобъемлющий систематический обзор, и, если это так, начинаем с него. В конце концов систематические обзоры и метаанализы часто используются при принятии решений, например при разработке медицинских инструкций.

Если в этой главе и есть одна основная мысль, то это то, что разработать хороший эксперимент сложно! Мы надеемся, что вы также почерпнули отсюда, что вероятность и статистика – это полезные инструменты для понимания проблем, связанных с неопределенностью. Но этот раздел также призван объяснить, что статистика – это не панацея от неопределенности.

Как предложил статистик Эндрю Гельман в статье для журнала The American Statistician, мы должны «стремиться смириться с неопределенностью и отклонениями».

В целом имейте в виду, что хотя статистика помогает получить уверенные прогнозы в различных обстоятельствах, она не может точно предсказать, что произойдет в отдельно взятом случае.

Например, вы знаете, что в среднем летом на вашем любимом пляже тепло и солнечно, но это не гарантирует, что, когда вы пойдете в отпуск, погода не станет дождливой и не по сезону прохладной.

Точно так же медицинские исследования утверждают, что риск заработать рак легких возрастает, если вы курите, и хотя вы можете вычислить доверительный интервал, что средний курильщик за свою жизнь столкнется с раком легких, вероятность и статистика не могут сказать, что произойдет с отдельно взятым курильщиком.

Хотя вероятность и статистика – это не магия, они все же помогают лучше описать уверенность в вероятности различных результатов. Конечно, есть много подводных камней, на которые нужно обратить внимание, но мы надеемся, что вы почерпнете отсюда тот факт, что исследования и данные намного полезнее для преодоления неопределенности, чем догадки и предположения.

Основные идеи

• Не поддавайтесь ошибке игрока или ошибке базового процента.

 Единичные случаи и корреляции, которые вы видите в данных, – хорошие генераторы гипотез, но корреляция не подразумевает причинно-следственной связи – вам все равно нужно основывать надежные выводы на хорошо спланированных экспериментах.

• Ищите проверенные планы экспериментов, такие как рандомизированные контролируемые эксперименты или А/В-тестирование, которые демонстрируют статистическую значимость.