Расплетая радугу: наука, заблуждения и тяга к чудесам

Обычно ученые позволяют себе поддаться влиянию p-значения 1 к 100, или даже столь высоким как 1 к 20: намного менее впечатляющему, чем 2 к 10 000. Р-значение, которое вы принимаете, зависит от того насколько важным является результат, и от того, какое решение может за этим последовать. Если все, что вы стараетесь решить — это стоит ли повторять эксперимент с большей выборкой, p-значение 0.05, или 1 к 20, вполне приемлемо. Даже при том, что есть 1 шанс из 20, что ваш интересный результат произошел как-нибудь случайно, не многое поставлено на карту: ошибка обойдется не дорого. Если решение — вопрос жизни и смерти, как при некоторых медицинских исследованиях, следует искать намного более низкое p-значение, чем 1 к 20. То же самое верно для экспериментов, имеющих целью продемонстрировать очень спорные результаты, вроде телепатии или «паранормального» воздействия.

Как мы вкратце выяснили в связи с фингерпринтингом ДНК, статистики отличают ложноположительные от ложноотрицательных ошибок, иногда называемые ошибками типа 1 и типа 2 соответственно [10]. Ошибка типа 2, или ложноотрицательная — это необнаружение эффекта, когда тот действительно есть. Ошибка типа 1, или ложноположительная, напротив — заключение, что действительно что-то имеет место, когда на самом деле нет ничего, кроме случайности. P-значение — мера вероятности, что вы сделали ошибку типа 1. Статистическое суждение означает удержание среднего курса между двумя видами ошибки. Есть ошибка типа 3, при котором ваш разум полностью заходит в тупик всякий раз, когда вы стараетесь вспомнить, какой из типов 1, а какой 2. Я до сих пор подсматриваю это, после долгих лет использования. Поэтому там, где это имеет значение, я буду применять более легко запоминаемые названия, ложноположительный и ложноотрицательный. Я также, между прочим, часто делаю ошибки в арифметике. Практически мне нечего и мечтать о выполнении статистической проверки, начиная с основных принципов, как я сделал для гипотетического случая почерка. Я бы предпочел всегда искать в таблице, которую кто-то еще — желательно компьютер — рассчитал.

Суеверные голуби Скиннера делали ложноположительные ошибки. Не было фактически никакой системы, которая действительно связывала бы их действия с выдачами вознаграждающего механизма. Но они вели себя, как будто обнаружили такую закономерность. Один голубь «думал» (или вел себя, как будто думал), что отступая влево, он заставлял механизм выдавать вознаграждение. Другой «думал», что засовывание ее головы в угол имело тот же полезный эффект. Оба делали ложноположительные ошибки. Ложноотрицательную ошибку делал бы в коробке Скиннера голубь, который вовсе не замечал бы, что клевание ключа приносит пищу, если включен красный свет, но что клевание при включенном синем свете наказывается выключением механизма на десять минут. Есть настоящая закономерность, ожидающая, когда ее обнаружат, в маленьком мире данной коробки Скиннера, но наш гипотетический голубь ее не обнаружил. Он клюет без разбора при любом свете, и поэтому получает вознаграждение реже, чем мог бы.

Ложноположительную ошибку совершает фермер, который думает, что жертвоприношение богам приносит долгожданный дождь. Фактически, я предполагаю (хотя я не исследовал вопрос экспериментально), что нет такой закономерности, но он не обнаруживает этого и упорствует в принесении своих бесполезных и разорительных жертв. Ложноотрицательную ошибку совершает фермер, который не замечает, что есть закономерность, связывающая удобрение поля навозом с последующей урожайностью этого поля. Хорошие фермеры лавируют промежуточным путем между ошибками типа 1 и типа 2.