Псевдонаука и паранормальные явления: Критический взгляд

Самый, возможно, всесторонний метаанализ исследований по ГСЧ провели Бёш и др. (Bosch et al., 2006). Они собрали результаты 380 экспериментов и обнаружили очень слабый, но значимый эффект. Однако они пришли к выводу, что эффект этот, скорее всего, возник в результате работы в стол. Попросту говоря, если исследователи не склонны публиковать негативные результаты (а просто складывают в стол), а журналы тоже не склонны их печатать, то в соответствующей литературе появляется обманчиво высокий процент успешных работ. Если учесть данные всех исследований, то неопубликованные негативные результаты многократно перевесят опубликованные положительные (см. главу 3 о предвзятости при публикации). Вероятно, это проблема всех опубликованных метаанализов пси-феномена. В самом деле, как заметил один очень уважаемый эксперт в области статистики, метаанализ «возводит предубеждение при публикации в ранг искусства до такой степени, что некоторые достойные доверия специалисты по методике исследований... полностью отметают подобного рода свидетельства» (Bausell, 2007, р. 198).

Иногда исследователи возражают, что пресловутый «стол» с негативными результатами должен быть невероятно велик, чтобы перечеркнуть позитивные результаты метаанализа. К примеру, при анализе экспериментов с бросанием костей Радин и Феррари (Radin & Ferrari, 1991) вычислили: для того чтобы перевесить позитивные эффекты опубликованных исследований по телекинезу, использованных для метаанализа, «в столе» должны были бы лежать отчеты о 18000 экспериментов, давших негативные результаты. Другие исследователи при более тщательном анализе пришли к выводу, что для этого достаточно было бы всего шестидесяти неопубликованных работ (Bosch et al., 2006). Аналогично, Радин (Radin, 1997) представил самый сильный, возможно, аргумент в пользу пси (Good, 1997) — значимый пси-эффект, полученный при метаанализе проведенных за полвека 186 экспериментов по экстрасенсорному восприятию. Более того, Радин утверждает, что для ликвидации этого эффекта «в столе» должно лежать 3300 неопубликованных работ. Гуд (Good, 1997), профессиональный статистик, отмечает, что Радин никак не обосновывает свое заявление о размерах «стола» и что на самом деле потребовалось бы всего 8-15 неопубликованных негативных исследований. Гуд заключает, что собственные данные Радина в значительной мере подрывают результаты его метаанализа в пользу ЭСВ. Надо заметить, что разногласия по поводу необходимых размеров «стола» с неопубликованными негативными результатами очень типичны для пси-исследований.

Метаанализ — очень противоречивый и сложный в использовании инструмент. Статистически возможна ситуация, когда при метаанализе 50 экспериментов, ни один из которых не дал значимых результатов, будет получен значимый общий результат— вообще говоря, иллюзорный (Alcock, 1981). Большинство ученых, занятых метаанализом, вынуждены либо исключать из рассмотрения плохо проработанные, по их мнению, эксперименты, либо придавать им меньший статистический вес. Однако те, кто пытается проводить метаанализ пси-исследований, редко соглашаются между собой в том, как следует оценивать исходные эксперименты. В итоге метаанализ одного и того же набора публикаций у двух разных исследователей почти всегда дает разные (часто противоположные) результаты.

Наконец, методика экспериментов с ГСЧ позволяет проводить сотни тысяч испытаний. Мало у кого хватит выдержки реально бросать кости столько раз. С одной стороны, такая особенность представляется полезной. С другой, статистики обычно предупреждают об том, что статистический анализ слишком больших выборок может дать иллюзорно положительный результат. При громадном числе испытаний даже мелкие источники ошибок (легкая неслучайность данных ГСЧ, температура, нагромождение случайностей) могут дать видимый эффект. Неоднократно было продемонстрировано, что при использовании очень большой случайной выборки может быть получен чрезвычайно слабый и чисто иллюзорный, но статистически значимый эффект (см. Alcock, 1981).

В заключение скажем, что влияние посредством телекинеза на работу генератора случайных чисел вызывало и вызывает жаркие споры и новые исследования. Ирвин и Уатт (Irwin & Watt, 2007) предлагают самый, наверное, разумный на данный момент вывод: пока слишком рано делать уверенный вьгвод об аутентичности телекинеза на основании метаанализа.

Влияние личностных факторов