Даже для определения количества кошек в Великобритании необходим статистический шорткат, позволяющий переходить от малого к большому. В случае кошачьего населения Великобритании можно использовать метод, сходный с тем, который применили греческие воины: измерить небольшую выборку и пропорционально увеличить результат. Зная число кошек на одного человека в малой выборке, можно получить оценку для всей страны, просто умножив его на суммарную численность населения. Но что делать, если нужно оценить суммарное количество барсуков, живущих в Великобритании в дикой природе? Поскольку ни один из этих барсуков не принадлежит людям, использовать количество людей, как в случае кошек, нельзя.
Вместо этого экологи используют хитроумный шорткат под названием «метод поимки с повторной поимкой». Он основан на той же стратегии, что и оценка Лапласа. Предположим, они пытаются оценить размеры популяции барсуков в графстве Глостершир. Сначала экологи ставят несколько ловушек и ловят барсуков в течение определенного периода. Откуда они знают, какую долю барсуков они поймали? Пока ниоткуда. Но вот на какую хитрость они идут. Они метят всех пойманных барсуков и снова отпускают их на волю, позволяя меченым животным вновь смешаться с общей популяцией. Затем устанавливают по всему графству видеокамеры, регистрирующие появление барсуков. Таким образом, они получают два разных числа: суммарное количество барсуков, замеченных камерами, и количество меченых барсуков. Это позволяет определить долю меченых животных среди попавших на камеру. Затем производится масштабирование. Зная, сколько всего в графстве меченых барсуков и какую часть всей популяции барсуков они составляют, можно оценить суммарное количество барсуков в графстве.
Предположим, например, что при первой поимке были пойманы и помечены 100 барсуков, а в выборке последующего видеонаблюдения меченым был 1 барсук из каждых 10. Предполагая, что во всей популяции такая же доля меченых животных, как и в наших видеозаписях, можно оценить ее суммарную численность в 1000 особей. В случае Лапласа новорожденные (число которых известно) соответствуют меченой части полной популяции (численность которой неизвестна), а подсчет количества новорожденных в 30 приходах (оба эти числа известны) соответствует этапу повторной поимки в эксперименте с барсуками.
Этот метод использовался для оценки всего на свете – от числа людей, находящихся сейчас в рабстве на территории Великобритании, до количества танков, производившихся в Германии во время Второй мировой войны.
Проблема с шорткатами заключается в том, что они не всегда ведут к знанию. Бывает так, что они сбивают с верной дороги, лишь создают иллюзию достижения ответа, тогда как на самом деле уводят за многие мили от той цели, до которой вам нужно добраться. Опасны этим и статистические шорткаты. Иногда они бывают не настоящими шорткатами, а способами срезать углы.
Хотя 246 кошек могут дать какое-то представление о предпочтении всего 7-миллионного кошачьего населения, на выборке из 10 кошек, разумеется, нечего и надеяться что-либо понять. Тем не менее в научной литературе есть масса примеров предполагаемых открытий, основанных на таких смехотворно малых выборках. Такое часто бывает во многих исследованиях по психофизике и нейрофизиологии, опубликованных в крупных журналах, просто потому, что набрать большое количество участников для таких исследований бывает трудно. Но можно ли в самом деле делать какие бы то ни было выводы из исследований, проведенных на двух макаках-резусах или четырех крысах?
К сожалению, о сенсационных открытиях типа «8 из 10 X предпочитают Y» часто объявляют, ничего не говоря о размерах использованной выборки, что не позволяет оценить вероятность того, что это открытие соответствует действительности.
Золотой стандарт для обоснованного сообщения о значительном открытии дают те параметры, которые я установил для создания представительной выборки в опросе о кошачьем корме. Тогда я решил, что меня устроит размер выборки, при котором предпочтения кошек будут правильно представлены в 19 случаях из 20.
Когда речь идет о научных открытиях и их потенциальной значимости, например, о действенности нового лекарства при лечении некоего заболевания, результаты можно считать значимыми, если вероятность того, что пациент выздоровел бы и без приема лекарства, составляет менее 1 шанса из 20. Предположим, вы придумали заклинание, делающее так, что подброшенная монета падает орлом. Большинство людей в это не поверит; что же вам нужно сделать, чтобы убедить их? Допустим, после применения вашего заклинания орел выпадает в 15 случаях из 20. Означает ли это, что заклинание, возможно, работает? Если подсчитать вероятность того, что при случайном подбрасывании «честной» (никак не измененной) монеты без заклинания в 15 случаях из 20 выпадет орел, окажется, что она составляет менее 1 шанса из 20. Значит, тот факт, что после применения вашего заклинания орел выпал 15 раз, позволяет предположить, что заклинание действительно работает.