Расплетая радугу. Наука, заблуждения и потребность изумляться

Мы с вами только что проделали то, что специалисты называют проверкой статистической значимости. Рассуждали мы, исходя из базовых принципов, в силу чего наша аргументация получилась довольно нудной. В действительности же исследователи могут обращаться к готовым таблицам вероятностей и распределений. Таким образом, нам не нужно в буквальном смысле слова выписывать на бумагу все возможные варианты событий. Но теория, скрывающаяся за этими таблицами, — фундамент, на котором они построены, — опирается на ту же самую основополагающую методологию. Рассмотрите все те события, какие могли бы произойти, вплоть до откровенно случайных. Взгляните, какой оборот события приняли в реальности, и оцените, насколько вероятен (или невероятен) был такой исход, учитывая весь спектр возможных вариантов.

Обратите внимание, что тест на статистическую значимость ничего окончательно не доказывает. Он не сбрасывает со счетов такой возможный источник получившегося результата, как везение. Максимум, на что он способен, — это определить, какое именно количество удачи могло бы обеспечить наблюдаемый нами результат. В нашем конкретном гипотетическом примере это количество соответствовало двум везунчикам из десяти тысяч человек, взявшихся отгадывать наобум. Говоря, что результат статистически значим, мы всегда должны указывать так называемое p-значение. Этим термином обозначается вероятность, с которой результат, не менее поразительный, чем тот, что был получен в действительности, мог бы возникнуть в силу чистой случайности. 0,0002 (2 на 10 000) — это весьма впечатляющее p-значение, но все равно остается вероятность того, что никакой истинной закономерности мы не обнаружили. Красота должным образом проведенного статистического анализа заключается в том, что он позволяет точно узнать, насколько вероятно отсутствие подлинной закономерности в наших наблюдениях.

Бывает, что ученые позволяют себе доверять таким p-значениям, как 0,01 или даже 0,05, — намного менее впечатляющим, чем 0,0002. Какое p-значение вам подойдет, зависит от того, насколько важен полученный результат и какие решения будут на нем основываться. Если вы всего лишь раздумываете, стоит ли повторять опыт с более крупной выборкой, то p-значение, равное 0,05, вполне сгодится. Даже если и существует 1 шанс из 20, что ваши любопытные результаты получились просто в силу случайности, на карту поставлено не так уж много — ошибка не будет дорого вам стоить. Если же ваше решение — вопрос жизни и смерти, как это бывает в некоторых медицинских исследованиях, то требуются p-значения намного меньшие, чем 0,05. То же самое касается и экспериментов, цель которых — доказать нечто крайне спорное, например телепатию или «паранормальные» явления.

Обсуждая ДНК-дактилоскопию, мы уже мельком видели, что статистики различают два вида ошибок: ложноположительные и ложноотрицательные, их еще называют ошибками первого и второго рода соответственно. Ошибка второго рода, или ложноотрицательный результат, возникает, когда не удается обнаружить явление, которое на самом деле существует. А ошибка первого рода, или ложноположительный результат, — это вывод, будто происходит что-то интересное, хотя тут нет ничего, кроме случайности. P-значение — это мера вероятности того, что вы совершили ошибку первого рода. Мыслить статистически означает идти серединным курсом, уворачиваясь как от одних ошибок, так и от других. Существует еще ошибка третьего рода, при которой ваш разум впадает в полный ступор каждый раз, когда вам нужно вспомнить, какие ошибки относятся к первому роду, а какие ко второму. Мне до сих пор приходится заглядывать в справочники, хоть я и пользуюсь этими понятиями всю жизнь. Поэтому там, где нужно, я буду употреблять более запоминающиеся названия: ложноположительный и ложноотрицательный результаты. Кстати, еще я часто ошибаюсь в арифметике. В реальной жизни мне бы и в голову не пришло проводить статистический анализ, исходя из базовых принципов, как я это сделал для нашего гипотетического примера с почерком. Я бы непременно посмотрел в готовую таблицу, где все расчеты уже выполнены кем-то другим (желательно компьютером).