[Представьте], что мы провели исследование с участием 1000 мастеров медитации и каждый из них был выбран на основании своих показателей в предыдущем [психокинетическом] задании.
К каждому обращается дружелюбный, искренне заинтересованный исследователь, предлагая им поучаствовать в ежедневной практике концентрации намерения в течение четырех недель перед началом эксперимента, в котором им нужно будет попытаться сознательно повлиять на образование единичного случайного разряда. Кроме того, участникам сообщают, что по результатам этого исследования им полагается бонус, например, в качестве образовательной стипендии. А теперь представьте, что для другого подобного исследования участников набирает апатичный студент, который безразлично обращается к произвольно выбранному участнику, предлагая ему ментально повлиять на образование 1000 случайных разрядов в течение миллисекунды, и не обещает никакого поощрения независимо от результатов.
Физический контекст этих двух исследований может быть идентичен, проявляясь в использовании того же [генератора случайных чисел] и статистического подхода для оценки результатов экспериментов, состоящих из 1000 случайно образуемых разрядов. Но совершенно ясно, что в психологическом плане они будут радикально различаться. Если мы предположим, что единственным важным фактором в исследованиях такого рода является число образуемых разрядов, тогда оба исследования должны показывать примерно одинаковые результаты. Но если значимым показателем считать количество времени и усилий, которые участник может посвятить концентрации своего ментального намерения на каждом случайном событии, тогда первое исследование может показать эффект во много раз больше, чем второе.
Помимо оплошности Беша с исходным допущением, мы обнаружили, что он исключил три очень крупных исследования вследствие их «изолированности», хотя они показывают в высшей степени значимые результаты. И эти три исследования содержат в 210 раз больше данных, чем оставшиеся 377 вместе взятые. Кроме того, предположение Беша о том, что результаты могут объясняться избирательной отчетностью, было основано на математической модели с параметрами, которые могли бы подойти для каких угодно выводов, так что такой подход не был адекватен для оценки величины «эффекта картотеки».
Для проверки адекватности оценки Беша мы провели опрос исследователей, проводивших большую часть исследований с ГСЧ, чтобы составить представление о числе непредставленных экспериментов. Оказалось, что на каждого исследователя приходится по одному непредставленному эксперименту. И дело было не в том, что отсутствующие исследования не могли похвалиться результатами. Некоторые из них показали значимые положительные результаты.
Это позволяет предположить, что в базе данных Беша должны были отсутствовать, по-видимому, 59 исследований (по числу исследователей), а не 1544. И если бы эти 59 исследований были найдены и каждое из них оказалось бы с нулевым результатом (что в действительности было не так), это все равно не перевесило бы общих результатов. Так что заключение Беша о том, что простейшим объяснением метаанализа является систематическая ошибка избирательной отчетности, безосновательно.