Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Также могут существовать (и существуют) опросы, результаты которых формируются на основе мнений заинтересованных лиц. Цель таких опросов — повлиять на предпочтения избирателей. Хорошим показателем надежности результатов может служить опыт и авторитет организации, проводившей исследование, а также указание на источник, в котором опубликованы результаты опроса. Чтобы охарактеризовать подлинную надежность результатов, одного лишь статистического показателя в 95 % не всегда бывает достаточно.

Глава 4 Как мы рассуждаем, когда принимаем решение. Проверка статистических гипотез

Этот случай произошел в 1920-е годы в Англии, в Кембридже. Несколько преподавателей, их супруги и гости по случаю прекрасной погоды пили чай на открытой террасе. Попробовав чай, одна из присутствующих дам заметила, что вкус меняется, если налить молоко в чай, а не наоборот.

Кто-то осторожно возразил, что это маловероятно. Начался спор, в котором стороны прибегали ко всевозможным аргументам из физики и химии: состав напитка не меняется в зависимости от того, что было налито в чашку сначала, чай или молоко; частицы растворялись абсолютно одинаково; перепад температур исключался и прочие многочисленные доводы. Спорящие пришли к выводу: определить, что было налито в чашку сначала, невозможно. Или же… все-таки возможно?

Один из присутствующих, человек лет сорока по имени Рональд Эйлмер Фишер, предложил развеять сомнения с помощью «передовой» методики — проведения эксперимента. Очевидно, что опыт нельзя было провести всего с двумя чашками, так как в этом случае вероятность угадывания равнялась 1/2. В этом случае нельзя определить, действительно ли участник эксперимента смог отличить по вкусу один напиток от другого или же попросту угадал. Однако если бы перед участником эксперимента стояло по 4 чашки с каждым напитком, вероятность угадывания равнялась бы всего 1 к 70 (так как существует 70 способов выбрать 4 чашки из 8). Если бы в этих условиях испытуемый смог точно определить, что было налито в каждую чашку сначала, чай или молоко, это означало бы, что способ приготовления чая действительно можно определить на вкус с небольшой, притом известной, погрешностью.

Фишер в те годы уже был известным ученым. В 1935 году он опубликовал ставший классическим труд The Design of Experiments о стратегиях выбора экспериментальных данных. Во второй главе его книги некоторые ключевые понятия проиллюстрированы именно этим примером с чашками чая.

Рассуждения дегустатора чая

Сначала предположим, что дегустатор чая не может различить, что было добавлено в чашку сначала, чай или молоко. Это предположение совершенно логично. Опровергнуть первоначальную гипотезу могут только результаты качественно продуманного и проведенного эксперимента. Исходная гипотеза будет опровергнута, если результаты эксперимента окажутся маловероятными при допущении, что дегустатор действительно не может различить чашки. Какие именно результаты окажутся «маловероятными», определяем мы сами: менее 5 % случаев, менее 1 % случаев или любое другое число.

Допустим, мы готовы поверить, что дегустатор чая действительно может различать чашки, только тогда, когда вероятность случайного угадывания не будет превышать 5 %. Следовательно, эксперимент, в котором нужно выбрать 3 чашки из 6, будет некорректным, так как это можно сделать 20 различными способами, и вероятность случайного угадывания составит ровно 1 к 20, то есть 5 %. Это нетрудно проверить: первую чашку можно выбрать шестью способами, вторую — пятью, третью — четырьмя, следовательно, 3 чашки можно выбрать 6·5·4 = 120 способами. Однако здесь мы учитываем порядок выбора, то есть предполагаем, что чашки подписаны буквами от А до F и считаем варианты ADF и FDA различными. Чтобы учесть повторы, нужно поделить число вариантов на число способов, которыми можно упорядочить 3 чашки (3·2·1 = 6). Следовательно, выбрать 3 чашки из 6 можно 120/6 = 20 способами. Если нужно правильно выбрать 4 чашки из 8, то число вариантов будет равняться (8·7·6,5)/(4·3·21) = 70. Так как выбрать случайным образом все 4 чашки, в которых был сначала налит чай, а затем — молоко, можно только одним способом, то вероятность угадывания равняется 1 к 70, то есть 1,4 %. Если участник эксперимента верно укажет на 3 чашки из 4, это не будет доказывать, что вкус чая будет отличаться: вероятность правильного выбора трех чашек случайным образом равна примерно 23 %.

Но не стоит тратить все силы на математические рассуждения. Также нужно уделить очень большое внимание деталям проведения эксперимента, отсутствию подсказок для испытуемого и другим нюансам. Фишер прямо указывает, что чашки в эксперименте должны располагаться случайным образом: