Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

«За последние 20 лет благодаря геометрическому росту доступной информации, развитию геномики и других технологий мы получили возможность измерять миллионы и миллионы потенциально интересных переменных, – рассказал мне Иоаннидис. – Можно ожидать, что мы сможем использовать эту информацию для того, чтобы заставить предсказания работать на нас. Я не говорю, что мы не достигли никакого прогресса. Принимая во внимание наличие миллионов научных работ, признать это было бы крайне стыдно. Однако совершенно очевидно, что мы не сделали миллионов открытий. Большинство работ не вносят реального вклада в развитие знания».

Вот почему наши предсказания могут оказаться более подверженными неудаче в эру Больших данных. С экспоненциальным ростом объема доступной информации по той же экспоненте растет и количество гипотез, требующих изучения. Например, правительство США в настоящее время публикует сведения о 45 тыс. экономических статистических показателей. Если вы захотите протестировать связи между всеми комбинациями из пар этих показателей – есть ли, допустим, причинно-следственная связь между ставкой банковского кредитования и уровнем безработицы в Алабаме? – то вам потребуется протестировать не меньше миллиарда гипотез[109]. Однако количество осмысленных связей в данных, говорящих о наличии причинно-следственной связи, а не о корреляции, и позволяющих протестировать то, каким образом мир работает по-настоящему, на много порядков ниже. Истина не растет теми же темпами, что и информация; по сути, в мире сейчас не больше истины, чем было до появления интернета или печатного пресса. Основная часть данных – всего лишь шум, так же как основная часть Вселенной заполнена вакуумом.

Тем не менее, как мы знаем из теоремы Байеса, в случаях, когда реальная вероятность возникновения какой-либо болезни в популяции низка (рак груди у молодых женщин; истина в море данных), ложноположительное срабатывание может доминировать в результатах, если только мы не будем достаточно внимательны и осторожны. На рис. 8.3 представлено графическое отображение этой картины. Так, 80 % истинных научных гипотез вполне справедливо признаются истинными, а около 90 % неверных гипотез совершенно справедливо отвергаются. Тем не менее, поскольку истинные открытия возникают крайне редко, оказывается, что около двух третей выводов, которые мы считаем правильными, на самом деле оказываются ложными!

Рис. 8.3. Графическое отображение ложноположительного срабатывания

К сожалению, как выяснил Иоаннидис, состояние опубликованных исследований в большинстве областей, по которым проводилось статистическое тестирование, напоминает ту картину, что можно увидеть на рис. 8.3[110].

Почему же доля ошибок так велика? До определенной степени вся данная книга представляет собой ответ на этот вопрос. Причин можно назвать много: отчасти они связаны с нашими психологическими предубеждениями, отчасти – с распространенными методологическими ошибками, а отчасти – с неправильно выстроенными стимулами.

Однако основная проблема лежит в том, что тип статистического мышления, который используют различные исследователи, является ошибочным по своей сути.

Когда статистика отклонилась от принципов Байеса

Английский статистик и биолог по имени Рональд Эймлер (Р. A.) Фишер был, возможно, основным интеллектуальным соперником Томаса Байеса, несмотря на то что он родился в 1890 г., почти через 120 лет после его смерти. Он проявил себя еще более яркой личностью, чем Байес, и таким же олицетворением английской интеллектуальной традиции своего времени, каким в наши дни стал Кристофер Хитченс. Он был миловидным, но неопрятно одетым человеком{579}, постоянно курил трубку или сигареты и вел непрекращающийся бой с реальными и вымышленными соперниками.

Посредственный лектор, но в то же время проницательный писатель, обладавший чутьем к драматическим сюжетам, он оставался отличным и востребованным собеседником за обедом. Интересы Фишера были невероятно широкими. Один из лучших биологов и генетиков своего времени, но при этом беззастенчивый сторонник элитизма, он искренне оплакивал тот факт, что у представителей бедных классов имелось значительно больше потомства, чем у интеллектуалов{580} (сам Фишер, следуя собственным убеждениям, с осознанием собственного долга дал жизнь восьмерым отпрыскам).

Возможно, Фишер в большей степени, чем кто-либо еще, отвечает за то, какими статистическими методами мы широко пользуемся в настоящее время. Он разработал терминологию проверки статистической значимости и значительную часть соответствующей методологии. Он не относился к числу больших поклонников Байеса и Лапласа, но именно он впервые использовал термин «байесовский» (Bayesian) в опубликованной статье, причем довольно уничижительным образом{581}, а в другой статье утверждал, что теория Байеса «должна быть полностью отвергнута»{582}.