Цифры врут. Как не дать статистике обмануть себя

Проблема же в том, что хотя выбор в качестве границы статистической значимости числа 0,05 совершенно условен, ученые и – что еще важнее – редакции научных журналов принимают ее за точку отсечения. Если для ваших результатов p = 0,049, у вас есть шансы их опубликовать, а если p = 0,051, то такие шансы ничтожны. А ученым нужны публикации их исследований, чтобы получить грант, найти постоянную должность и вообще рассчитывать на карьерный рост. Поэтому они крайне заинтересованы в получении статистически значимых результатов.

Вернемся же к нашему эксперименту. Мы хотим показать, что эта книга помогает лучше разбираться в статистике и достойна попасть в список бестселлеров Sunday Times; и после этого, надеемся, будем получать приглашения на престижные коктейльные вечеринки. Но мы получаем лишь p = 0,08.

Наверное, просто не повезло, думаем мы. И повторяем эксперимент – достигаем 0,11. И еще, и еще, и еще раз, пока наконец не выходит 0,04. Потрясающе! Мы докладываем о результатах и дальше припеваючи живем на роялти с продажи книги. Только это почти наверняка ложноположительный результат. Если провести эксперимент 20 раз, вполне можно ожидать один случайный результат.

Есть и другие способы достичь желаемого. Мы можем по-разному тасовать данные. Например, не только считать баллы, но и измерять, насколько быстро люди проходят тест, или оценивать красоту почерка. Пусть читатели книги не получают более высокие баллы, но вдруг они быстрее справляются с тестом? Или у них улучшился почерк? А можно отбросить самые крайние результаты, назвав их выбросами. Если ввести достаточно параметров и по-разному сочетать их или внести в данные необходимые и кажущиеся разумными поправки, то по чистой случайности рано или поздно наверняка найдется что-то подходящее.

Теперь вернемся к мужчинам, пытающимся покорить женщин хорошим аппетитом. В конце 2016 года Вансинк, ведущий автор того исследования, опубликовал в своем блоге пост – «Аспирантка, которая никогда не говорила „нет“». Это положило конец его карьере.

Вансинк написал о новой турецкой аспирантке, пришедшей в его лабораторию. Он дал ей данные провалившегося эксперимента, который проводился без внешнего финансирования и имел нулевые результаты. (Это был месячный эксперимент, в ходе которого одним людям продавали входные билеты в итальянский ресторан со шведским столом по цене в два раза выше, чем другим.) Вансинк предложил ей проанализировать данные, потому что, по его мнению, из них можно было что-нибудь извлечь.

По его рекомендации аспирантка сделала это десятками различных способов и – вас это не должно удивить – нашла кучу корреляций. В нашем воображаемом эксперименте с чтением книги мы бы точно так же могли перебирать данные на разные лады, пока бы не обнаружили что-нибудь со значением p < 0,05. На основании полученного набора данных аспирантка с Вансинком опубликовали пять статей, включая ту самую. В ней утверждалось, что в присутствии женщин мужчины едят больше пиццы (p < 0,02) и салата (p < 0,04).

Пост в блоге насторожил ученых. Описанная в нем практика называется p-подгонкой (p-hacking) – это перетряхивание данных в поисках утверждений, позволяющих преодолеть барьер в p = 0,05 и опубликовать статью. Методологически подкованные исследователи стали пересматривать все старые статьи Вансинка, а научная журналистка из BuzzFeed News Стефани Ли получила от своего источника электронную переписку ученого с сотрудниками и опубликовала ее. Оказалось, что он рекомендовал аспирантке разбивать данные на «мужчин, женщин, обедающих, ужинающих, питающихся в одиночку, по двое, в группах более двух человек, заказывающих алкогольные или безалкогольные напитки, садящихся рядом со шведским столом или далеко от него и т. п.».

В старых публикациях Вансинка обнаружились и другие проблемы методологического характера, а его имейлы указывали на порочную статистическую практику. Например, он писал: «Мы должны получить из этого намного больше… Думаю, стоит перебрать данные в поисках значимых и увлекательных утверждений». Он хотел, чтобы их исследование «стало вирусным».

Этот случай по-настоящему драматичен. Но вообще p-подгонка – в менее драматичных формах – происходит постоянно. Обычно она вполне невинна. Ученым нужно добиться p < 0,05 для публикаций, поэтому они повторяют исследования или заново анализируют результаты старых. Возможно, вы слышали о «кризисе воспроизводимости»: многие важные открытия в психологии и иных науках оказались неверными, когда другие ученые попытались повторить эксперименты первооткрывателей. Он произошел именно потому, что ученые не осознавали этой проблемы: они пересортировывали свои данные и повторяли эксперименты до тех пор, пока не получали статистически значимые результаты, не понимая, что таким образом работа становится бессмысленной. Мы еще вернемся к этому вопросу в главе 15, «В погоне за новизной».