Мы уже видели, что совершенно случайные события обычно следуют одно за другим — кучками или полосами. Если бы вам пришлось изучать чисто случайное явление — к примеру, зависимость между школьными оценками и размером ноги, — вы рано или поздно обязательно столкнулись бы с несколькими подряд случаями, когда отличные оценки получают люди с маленькой ногой. Скорее всего, при дальнейших испытаниях этот перекос выровнялся бы. А может быть, вы вскоре встретили бы сразу несколько человек с маленькой ногой и плохими отметками. Но! Что произойдет, если вы прекратите исследование сразу после встречи первой группы двоечников с маленькой ногой? Это будет мошенничество. Формально ваше исследование подтвердит существование связи между размером ноги и коэффициентом интеллекта. Поэтому нельзя продолжать исследование до тех пор, пока не будут получены желаемые результаты, а потом произвольно прекратить процесс. К примеру, именно в этом можно заподозрить Еоклена (Gauquelin, 1974), известного исследователя астрологии. Можно предположить, что он обрабатывал свои данные до тех пор, пока не наткнулся на некую кажущуюся закономерность — сомнительную связь между нахождением планеты Марс в двух секторах неба и атлетизмом родившегося человека (глава 5). Почему мы можем сказать, что Гоклен просто прекратил свой эксперимент в произвольный, устраивающий его момент? Дело в том, что очевидно вытекающий из его исследований астрологический прогноз не работает, да и обнаруженная им будто бы связь не относится к тем, о которых обычно говорят астрологи.
Мы уже видели (глава 3), что исследователи предпочитают публиковать необычные и обязательно положительные результаты. Неудачи их не интересуют. Журналы делают то же самое и отбирают для публикации преимущественно положительные результаты. Если вы проведете тщательный эксперимент и установите, что, на тучи кричи не кричи, дождь пойдет вне зависимости от ваших усилий, то вы вряд ли станете посылать этот результат для публикации в научный журнал. А если пошлете, то журнал наверняка откажется публиковать вашу статью. То, что у положительных результатов больше шансов на публикацию в научном журнале, не секрет. Скорее всего, именно предпочтениями при публикации объясняются многие «научные демонстрации» паранормальных явлений. Рассмотрим это с точки зрения теории вероятностей. Так, мы можем предположить, что из 100 исследований некоего паранормального явления пять случайно дадут положительный результат. В данном случае 5 % — это вероятность случайной флуктуации в том случае, если на самом деле этого паранормального явления не существует вовсе. При этом из 100 исследований именно 5 положительных результатов со временем, скорее всего, будут опубликованы, создавая у читателей ложное впечатление о том, что существование этого паранормального явления доказано.
Чтобы исключить влияние предпочтений при публикации, исследователям и журналам следовало бы публиковать все без исключения результаты — и положительные, и отрицательные. Журналы, посвященные исследованию паранормальных явлений, начинают это делать; они требуют, чтобы исследователи еще до проведения регистрировали намеченные исследования, тогда отрицательные результаты не останутся незамеченными.
Еще один метод борьбы с предпочтениями при публикации — метаанализ множества различных исследований по данному вопросу, позволяющий определить, сколько негативных исследований потребовалось бы, чтобы свести на нет некий положительный результат. Метаанализ — очень популярный инструмент обработки данных парапсихологических исследований, поэтому мы подробнее рассмотрим его в главе 12.
Надо отметить, что одно из самых серьезных открытий, сделанных в процессе научных исследований паранормального, — это отрицательная корреляция между качеством проводимого исследования и полученными свидетельствами в пользу паранормального (Bauseil, 2007; Hines, 2003). Плохо спланированные дешевые исследовательские программы гораздо чаще дают положительные результаты, чем правильно организованные строгие исследования. В остальных областях научных исследований все обстоит с точностью до наоборот. Обычно чем лучше организовано исследование, тем более вероятен положительный результат.
Краткий итог: психологическое искажение