Цифры врут. Как не дать статистике обмануть себя

Честно говоря, это сложный вопрос, потому что климат – сложная штука. Неслучайно, говоря о теории хаоса, прежде всего вспоминают о бабочке, которая взмахнула крыльями в Бразилии, что привело к торнадо в Техасе. Климат очень трудно изучать и предсказывать.

Однако этот пример объясняется просто – потому что в качестве точки отсчета выбран 1998 год.

Представьте: прекрасный день, вы сидите на пляже. На берег набегают волны; иногда они особенно мощные. Вы построили замок из песка и ждете, когда его разрушит прибой. (Это отличный способ продемонстрировать ребенку безжалостность времени и тщетность человеческих усилий.)

Однако, отправляясь из своего летнего домика на пляж, вы легкомысленно не проверили, отлив сейчас или прилив. Поэтому время от времени поглядываете, насколько далеко забегают волны.

По большей части они немного не достают до замка – то на метр, то на полтора. Но однажды, допустим, в 15:50 некая лихая волна умудряется коснуться крепости. Потом море снова становится спокойнее. Если вы будете фиксировать путь самой бойкой волны из всех, приходящих в течение каждых пяти минут, у вас получится нечто подобное такому графику (где виден неравномерный, но явный рост с одним всплеском):

А теперь представим, что вам не терпится вернуться домой, ведь ребенку пора полдничать. Вы хотите убедить его, что на самом деле идет отлив и нет смысла ждать разрушения замка, так что всем нужно забраться в машину. Как это сделать?

Довольно просто: надо правильно выбрать стартовую точку. Вы говорите ребенку: «Смотри – в 15:50 волна зашла на берег на 26 метров. Прошло 50 минут, но больше она так далеко не заходила. С 15:50 вода не поднималась».

В общем, это верно: волны действительно с тех пор так далеко не заходили, но в целом это надувательство. Если выбрать для начала отсчета любую другую точку, виден стойкий подъем. Эта единичная резвая волна – то ли моторка пронеслась, то ли кит ударил хвостом – выбивается из ряда других, но не меняет общей тенденции роста.

Было бы странно провернуть что-то подобное со своим ребенком, но вообще такой подход к данным встречается повсеместно. В 2019 году The Sunday Times на первой полосе объявила, что «доля самоубийств среди подростков за последние восемь лет почти удвоилась». Это была манипуляция, аналогичная той, что проделал наш воображаемый отец со своим ребенком, только наоборот. За начало отсчета был взят 2010 год, когда уровень подростковых самоубийств в Англии и Уэльсе оказался рекордно низким. Сравнение с любым годом после 2010-го показало бы подъем (а можно было взять любой предшествующий год и показать спад).

Подбор подходящих начальной и конечной точек – пример построения гипотез, когда результаты уже известны (для обозначения этого даже есть специальное слово HARKing – hypothesising after results are known). Это значит, что сначала вы собираете данные, а потом изучаете их в поисках чего-нибудь удивительного. В зашумленных наборах данных – например, об изменении климата или доле самоубийств – есть естественные вариации: что-то увеличивается или уменьшается без определенных причин, как волны. При желании можно подобрать необычно высокую или низкую начальную или конечную точку так, чтобы подтвердить тенденцию роста или спада. Для того чтобы обнаружить долгосрочную тенденцию (вроде прилива), недостаточно рассмотреть самое большое или самое маленькое значение.

Есть и другие способы подобных манипуляций. Можно выбрать для изучения только часть своих данных или задать определенные критерии отбора. Например, в статье о самоубийствах говорилось о подростках – причем именно 15–19-летних. Ни в одной другой возрастной группе подъема не было обнаружено; а поскольку – к счастью – подростки очень редко совершают суицид, небольшие случайные изменения данных могут приводить к сильным перепадам в процентном отношении. Если бы рассматривался более широкий возрастной диапазон – от 10 до 29 лет, – такого скачка не было бы.

Похожая ситуация и с климатом. Температура воздуха на поверхности Земли долгое время не достигала уровней 1998 года, но в верхних трех метрах океанской воды заключено столько же тепловой энергии, сколько во всей атмосфере.

И проблема выходит за рамки климатологии или сводок о самоубийствах. HARKing, как и погоня за новизной, – это серьезная проблема в науке. В Центре доказательной медицины при Оксфордском университете обнаружили, что даже в статьях, опубликованных в самых уважаемых медицинских журналах, нередко уже после того, как испытание зарегистрировано, без упоминания в отчете меняется цель исследования. Это позволяет авторам изменять начальную и конечную точки и даже полностью переписывать критерии успеха. Сменить цель можно по вполне уважительной причине, но можно и ради p-подгонки – ее мы обсуждали в главе 5 (и это все равно нужно указывать в статье).