Люди избирают кратчайший путь и прибегают к помощи воображения, чтобы заполнить пробелы в данных не-визуального характера. Как и в случае с визуальной информацией, на основании неточных и неполных сведений мы делаем выводы и приходим к заключению, что наша «картинка» отчетлива и достоверна. Но так ли это на самом деле?
Разработав методы статистического анализа, ученые смогли оградить себя от ложных закономерностей и решить, поддерживает ли ряд наблюдений гипотезу или, напротив, мнимое подтверждение случайно. Например, когда ученому-физику нужно определить, являются ли показания суперколлайдера значимыми, он не рассматривает все графики в поисках столкновений частиц, которые выделяются на уровне помех, а применяет математические методы. Один из этих методов — оценка статистической значимости — был разработан в 20-е гг. XX в. Р.А. Фишером, одним из величайших статистиков. Также он известен вспыльчивым характером и враждой со своим коллегой Карлом Пирсоном, одним из основателей статистики; противостояние было настолько ожесточенным, что Фишер еще долгое время нападал на своего заклятого врага после кончины того в 1936 г.
Чтобы проиллюстрировать идеи Фишера, предположим, что студент в ходе эксперимента по экстрасенсорному восприятию предсказывает, как упадет монета. Если студент почти всегда прав, мы можем выдвинуть гипотезу, что он предсказывает осознанно, например, благодаря своим экстрасенсорным возможностям. С другой стороны, если студент оказывается прав приблизительно в половине случаев, это говорит о том, что он просто-напросто угадывает. Но что если данные оказываются где-то посередине или их недостаточно? В какой момент мы примем гипотезу либо откажемся от нее? Это и выясняется с помощью оценки статистической значимости: формальной процедуры, позволяющей оценить вероятность того, что наши наблюдения соответствуют действительности, если данная гипотеза верна. Если вероятность невелика, мы отклоняем гипотезу. Если высока — мы ее принимаем.
Предположим, мы настроены скептически и исходим из того, что студент не может заранее знать, как упадет монета. Допустим, во время эксперимента он несколько раз предсказывает правильно. Рассмотренные в главе 4 методы позволят вычислить вероятность того, что студент угадывает по чистой случайности. Если он верно предсказывал то, как упадет монета, так часто, что вероятность его исключительного везения составляет, скажем, всего 3%, мы отклоняем гипотезу о том, что он всего-навсего угадывал. На языке оценки статистической значимости это означает, что уровень значимости отказа от гипотезы — 3%, имея в виду, что в 3% случаев данные ввели нас в заблуждение. 3%-ный уровень значимости — это очень даже неплохо, и средства массовой информации, ухватившись за описанный эксперимент, раструбили бы о доказанности существования экстрасенсорных способностей. Все же те из нас, кто не верит в сверхъестественные силы, сохранили бы скептический настрой.
Приведенный пример демонстрирует важное положение: даже если данные значимы на, скажем, 3%, тестируя 100 человек, не являющихся экстрасенсами, на наличие сверхъестественных способностей или 100 недейственных препаратов на эффективность, вы должны быть готовы к тому, что несколько человек проявят экстрасенсорные способности или некоторые лекарства проявят себя как действенные. Вот одна из причин, по которой результаты политических выборов или медицинских исследований, особенно не отличающихся масштабностью, противоречат данным предварительных опросов или более ранних исследований. И все же оценка статистической значимости и другие подобные методы являются большим подспорьем для ученых, особенно когда у тех есть возможность проводить широкомасштабные контролируемые исследования. В быту мы не проводим такие эксперименты, да и подсознание наше статистическим анализом не занимается, вместо этого мы полагаемся на инстинкт. Как-то оказалось, что приобретенная мной печь-камин фирмы «Викинг» — исключительное барахло, и случайно я узнал, что у одной моей знакомой сложилось ровно такое же впечатление. Тогда я стал предупреждать друзей, чтобы они не покупали товары этой марки. Когда, летая рейсами «Юнайтед эрлайнс», я несколько раз наткнулся на стюардесс, более раздражительных, чем на рейсах других авиакомпаний, я стал выбирать других перевозчиков. Располагая небольшим количеством данных, я инстинктивно вывел закономерность.