Цифры врут. Как не дать статистике обмануть себя

В исследовании Бема несколько классических психологических экспериментов проводилось в обратном порядке. В том числе эксперимент по праймингу вроде социального, упомянутого выше. Предположим, вы хотите определить, получится ли повлиять на чье-либо поведение с помощью подсознательного образа – картинки, которая мелькнет лишь на долю секунды – так, что мозг не успевает ее опознать. Можно, например, показать испытуемому два одинаковых изображения – допустим, дерева справа и слева – и предложить выбрать одно из них. Но перед этим на мгновение предъявить слева или справа какой-нибудь тревожный или неприятный образ. Он пропадает так быстро, что его не успеваешь заметить, но предположительно подсознание его все-таки фиксирует – лет 10–20 назад эта гипотеза была очень популярна, и на ее основе развивалась идея о 25-м кадре. Если противная картинка появляется слева, то потом вы с меньшей вероятностью выберете левое дерево, и наоборот. Этой экспериментальной схемой часто пользовались исследователи социального прайминга.

А Бем делал то же самое, но – вот это поворот! – в обратном порядке: он показывал изображения дерева или чего-то другого, перед тем как показать что-то отвратительное. И – как ни странно – испытуемые по-прежнему с меньшей вероятностью выбирали ту картинку, которая демонстрировалась на месте неприятного образа. Эффект оказался небольшим, но статистически значимым. Исследователи на полном серьезе утверждали, что это не объяснить иначе как паранормальными способностями.

Дочитав нашу книгу до этого места, вы уже понимаете, что здесь есть место и другому объяснению – чистой случайности. Иногда в исследованиях получаются неверные результаты просто из-за зашумленности данных. В таком случае можно получить истинное значение, а можно большее или меньшее.

Большинство читателей, вероятно, полагает, что истинный уровень паранормальных способностей среди населения равен нулю. Но из-за случайных ошибок в данных исследования могут показывать, что экстрасенсы существуют.

Вот почему наука не опирается – или не должна опираться – на отдельные статьи, о чем мы и писали в главе 14. Она должна учитывать, как соотносится новое исследование с совокупностью уже имеющихся. Достичь консенсуса можно с помощью метаанализов и обзоров литературы, рассматривая все работы в данной области и комбинируя их. Если в одном исследовании доказывается, что паранормальные способности существуют, а в 99 – что их нет, то первое, вероятно, можно списать на случайность.

Однако такой механизм работает, только если публикуются результаты всех исследований по этой теме. А такого не бывает, ведь научные журналы стремятся публиковать лишь интересные. В случае с исследованием Бема понятно, почему этого не произошло: группа ученых – Стюарт Ричи, Ричард Вайзман и Крис Френч – пыталась повторить исследования Бема и получила нулевые результаты. Журнал, опубликовавший статью Бема, Journal of Personality and Social Psychology, отказался публиковать их статью. Скучно печатать нудные повторы старых работ – хочется новых результатов.

В конце концов это исследование вышло в свет в журнале с открытым доступом PLOS One. А если бы этого не произошло, то составитель метаанализа нашел бы только одну статью с полученным результатом – статью Бема, и больше никаких. Погоня журнала за новизной привела бы к видимости научного консенсуса о существовании паранормальных способностей. Исследование Бема всколыхнуло сообщество, ведь ученые поняли, что приходится принять одну из двух неприятных истин: либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу.

(Стоит отметить, что позже Бем сделал метаанализ, включив в него статью Ричи с соавторами и ряд других, и все равно вывел, что паранормальные способности существуют. Со всеми проверками на публикационный сдвиг и прочее. Так что либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу даже по итогам метаанализа.)

Эта погоня за новизной приводит к одной из фундаментальных научных проблем – публикационному сдвигу. Если из ста исследований по выявлению паранормальных способностей в 92 выяснится, что их не существует, а в восьми – что они есть, то это довольно надежный показатель того, что их нет. Но если журналы в погоне за новизной опубликуют только те восемь с положительными результатами, то мир будет вынужден поверить, что мы способны предвидеть будущее.