Расплетая радугу. Наука, заблуждения и тяга к чудесам

Предположим, в данном гипотетическом эксперименте, я на самом деле сделал две ошибки. Мы хотим знать, насколько хорош мой результат среди многообразия всех возможных результатов угадывания. То, что мы должны знать — это сколько возможных способов выбора столь же хороши, или лучше, чем моя двадцатка. Число столь же хороших, как мой результат — 190. Число лучших, чем мой результат — 20 (одна ошибка) плюс 1 (без ошибок). Поэтому общее число столь же хороших или лучших, чем мой результатов — 211. Важно добавить способы оценивания лучшие, чем моя фактическая двадцатка, потому что они, в сущности, принадлежат к petwhac, наряду со 190 способами, столь же хорошими как мой.

Мы должны сравнить 211 с общим количеством способов, которыми эти 20 рукописей могли быть распределены с помощью подбрасывания монеты. Это нетрудно подсчитать. Первая рукопись могла принадлежать мальчику или девочке: есть два варианта. Вторая рукопись также могла принадлежать мальчику или девочке. Таким образом, на каждый из этих двух вариантов для первой рукописи было по два варианта для второй. Это 2 x 2 = 4 варианта для первых двух рукописей. Вариантов для первых трех рукописей 2 x 2 x 2 = 8. И возможных способов распределить все 20 рукописей — 2 × 2 × 2… 20 раз, или 2 в 20 степени. Это довольно большое число, 1 048 576.

Итак, среди всех возможных способов предположить пол, доля раскладок, столь же хороших, или лучше, чем мой фактический результат, будет 211 разделенное на 1 048 576, что составляет приблизительно 0.0002, или 0.02 процента. Иными словами, если бы 10 000 человек сортировали рукописи, исключительно бросая монету, можно было бы ожидать, что лишь два из них достигли бы результата, столь же хорошего, как я. Это означает, что мой результат производит довольно большое впечатление, и, если бы я достиг такого, то это было бы убедительным доказательством, что мальчики и девочки систематически отличаются по почерку. Позвольте мне повторить, что все это гипотетически. Насколько я знаю, у меня нет такой способности определять пол по почерку. Я должен также добавить, что, даже если бы были убедительные доказательства различия полов в почерке, это ничего не говорило бы о том, является ли это различие врожденным или приобретенным. Доказательства, по крайней мере если бы они были получены из эксперимента, вроде только что описанного, одинаково согласовывались бы с идеей, что девочек систематически учат почерку, отличному от мальчиков — возможно, более «изысканному» и менее «напористому».

Мы только что выполнили то, что технически называют проверкой статистической значимости. Мы исходили из основных принципов, что сделало это довольно утомительным. Практически, исследователи могут пользоваться таблицами вероятностей и распределений, которые были предварительно рассчитаны. Поэтому мы не должны буквально записывать все возможные способы, которыми события могли произойти. Но базовая теория, основание, на котором были рассчитаны таблицы, зависит, в основном, от той же фундаментальной процедуры. Возьмите события, которые могли иметь место, и запустите их многократно случайным образом. Посмотрите на фактический способ, которым событие произошло, и оцените, насколько он экстремален среди многообразия всех возможных способов, которыми оно могло быть запущено.

Обратите внимание, что проверка статистической значимости ничего не доказывает окончательно. Она не может исключить везение в качестве генератора результата, который мы наблюдаем. Лучшее, что она может сделать — это поставить наблюдаемый результат на ровне с определенной степенью везения. В нашем отдельном гипотетическом примере, это равное положение — два из 10 000 случайных угадывателей. Когда мы говорим, что эффект статистически достоверен, мы должны всегда указывать так называемое p-значение. Это вероятность, что чисто случайный процесс произвел бы к результат, по крайней мере столь же впечатляющий как фактический результат. P-значение 2 к 10 000 довольно впечатляюще, но тем не менеее возможно, чтобы при этом не было никакой настоящей закономерности. Красота выполнения надлежащей статистической проверки состоит в том, что мы узнаем, насколько вероятно, что в данном случае нет никакой подлинной закономерности.