Расплетая радугу: наука, заблуждения и тяга к чудесам

Прежде чем мы добираемся до статистики, есть некоторые меры предосторожности, которые вы должны принять при планировании эксперимента. Система — неслучайность, которую мы ищем — это закономерность, связывающая пол с почерком. Важно не запутывать задачу посторонними переменными. Образцы почерка, которые вы мне даете, не должны быть, например, личными письмами. Мне было бы слишком легко догадаться о поле автора из содержания письма, а не из почерка. Не выбирайте всех девочек из одной школы, а всех мальчиков из другой. У учеников из одной школы могут быть общие аспекты почерка, усвоенные либо друг от друга, либо от учителя. Это может привести к реальным различиям в почерке, и даже может быть интересно, но они могут быть характерными для различных школ, и только по-случайности для различных полов. И не просите, чтобы дети переписали отрывок из любимой книги. Я должен был бы находиться под влиянием выбора между «Черным Красавчиком» и «Biggies» (читатели, детские познания которых отличаются от моих, заменят эти примеры собственными).

Очевидно, важно, что все дети должны быть мне незнакомы, иначе я узнал бы их индивидуальный стиль письма и, следовательно, знал бы их пол. Когда вы передаете мне бумаги, на них не должно быть имен детей, но у вас должны быть какие-то способы отследить, какая из них чья. Присвойте им секретных кодов ради ваших же интересов, но будьте осторожны в выборе кодов. Не ставьте зеленую метку на бумагах мальчиков, а желтую — на бумагах девочек. Понятно, что я не буду и знать, где чья, но предположу, что желтый обозначает один пол, а зеленый другой, и это будет большой подсказкой. Было бы хорошей идеей присвоить каждой бумаге кодовый номер. Но не присваивайте мальчикам номера от 1 до 10, а девочкам от 11 до 20; это было бы все равно что те же желтые и зеленые метки. Также не давайте мальчикам нечетные номера, а девочки четные. Вместо этого присвойте бумагам случайные номера и держите список ключей запертым, чтобы я не мог его найти. Эти предосторожности в литературе называются «двойными слепыми» клиническими испытаниями.

Давайте предположим, что все надлежащие двойные слепые меры предосторожности были приняты, и что вы собрали 20 анонимных образцов почерка, перемешанные в случайном порядке. Я разбираю бумаги, сортируя их на две стопки, предполагаемых мальчиков и предполагаемых девочек. Я могу отнести некоторые в категорию «не знаю», но давайте предположим, что вы заставляете меня делать наиболее вероятное предположение, которое я могу в таких случаях. К концу эксперимента я сделал две стопки, и вы просматриваете их, чтобы узнать, насколько я был точен.

Теперь статистика. Вы предполагаете, что довольно часто я угадывал бы правильно, даже гадая просто наобум. Но насколько часто? Если мое заявление, что я могу определить пол по почерку, не обосновано, моя доля догадок должна быть не больше, чем у подбрасывающего монету. Вопрос в том, достаточно ли отличаются мои фактические результаты от результатов подбрасывания монеты, чтобы быть впечатляющими. Вот как приступить к ответу на этот вопрос.

Представьте все возможные способы, которыми я мог бы предположить пол 20 писавших. Перечислите их в порядке величины произведенного на вас впечатления, начиная со всех 20 правильных и опускаясь до совершенно случайного (все 20 неправильных почти столь же впечатляющи, как и все 20 правильных, потому что это показывает, что я могу видеть различия, даже при том, что я своенравно меняю знак на обратный). Затем взгляните на фактический результат моей сортировки, и подсчитайте процент от всех возможных сортировок, которые были бы столь же впечатляющи как фактическая, или больше. Вот как представить все возможные сортировки. Сначала обратите внимание, что есть только один способ быть 100-процентно правым и один способ быть 100-процентно неправым, но есть много способов быть правым на 50 процентов. Можно быть правым относительно первого листка, неправым относительно второго, неправым относительно третьего, правым относительно четвертого… Несколько меньше способов быть правым на 60 процентов. Еще меньше способов быть правым на 70 процентов, и так далее. Число способов сделать единственную ошибку настолько невелико, что мы можем выписать их все. Было 20 рукописей. Ошибка могла быть сделана на первой, или на второй, или на третьей… или на двадцатой. Таким образом, есть ровно 20 способов сделать одну ошибку. Более утомительно записать все способы сделать две ошибки, но мы достаточно легко можем вычислить, сколько их, и их 190. Еще труднее сосчитать способы совершить три ошибки, но вы можете убедиться, что это можно сделать. И так далее.