Цифры врут. Как не дать статистике обмануть себя

Это не воображаемая проблема, интересная только ученым. В одном метаанализе (как вы помните из главы 7, это публикация, где собраны сведения о нескольких разных исследованиях) показано, что 60 % женщин, ежегодно проходящих маммографию в течение десяти лет, хотя бы один раз получают ложноположительный результат. В ходе исследования, изучавшего мужчин, которые были направлены на биопсию и ректальное исследование после положительного результата теста на рак простаты, обнаружилось, что у 70 % из них результат был ложноположительным. Согласно одной публикации, некий пренатальный тест на выявление хромосомных нарушений у плода – а они встречаются очень редко, – специфичность которого якобы составляла до 99 %, а ложноположительные результаты получались в 0,1 % случаев, на самом деле давал ложноположительные значения в 45–94 % случаев.

Хотя результаты этих тестов не указывают на окончательный диагноз – пациентов с положительными результатами затем тщательно обследуют, – они испугают многих людей, у которых в результате не окажется рака или родится здоровый ребенок.

И проблема не ограничивается медицинскими анализами. Она может иметь серьезные последствия и в юридических вопросах. Хорошо известная и частая судебная ошибка – ошибка прокурора – по сути сводится к непониманию теоремы Байеса.

В 1990 году Эндрю Дина – отчасти на основании ДНК-экспертизы – приговорили к 16 годам тюремного заключения за изнасилование. Выступавший на стороне обвинения судебный эксперт сказал, что вероятность принадлежности ДНК другому человеку составляла один на три миллиона.

Но как отметил главный судья лорд Тейлор при пересмотре дела, здесь смешались два разных вопроса: насколько вероятно, что ДНК невиновного человека совпадет с образцом, и насколько вероятно, что человек невиновен, если его ДНК совпала с образцом? Ошибка прокурора заключается в том, что эти два вопроса считаются одинаковыми.

Можно рассуждать точно так же, как и с анализом крови. Если у вас нет других доказательств – а это маловероятно – и вы просто наугад выбрали подозреваемого из всего населения Великобритании, которое в то время составляло около 60 млн, априорная вероятность, что этот человек и есть искомый убийца, составляет одну шестидесятимиллионную. Если протестировать все 60 млн человек, то убийца будет выявлен правильно, но при этом еще у 20 невиновных будут ложноположительные результаты. Поэтому, даже если вероятность такого результата при тестировании невиновного человека составляет всего одну трехмиллионную, вероятность того, что любой случайный человек, получивший положительный результат, окажется невиновным, составляет более 95 %.

В реальной жизни обвиняемые не выбираются случайным образом; обычно есть и другие доказательства, а это значит, что априорная вероятность больше одной шестидесятимиллионной. Но, как и в случае с анализом крови, знание вероятности ложноположительного результата тестирования ДНК не подтверждает виновность: нужна еще априорная вероятность, какая-то оценка вероятности того, что этот человек виновен.

В декабре 1993-го апелляционный суд отменил приговор Дина, объявив его необоснованным, потому что и судья, и судебный эксперт стали жертвами ошибки прокурора. (Впоследствии, в ходе пересмотра судебного дела, он все равно был осужден.)

Точно так же трагическое дело Салли Кларк, осужденной в 1998 году за убийство своих детей, обернулось ошибкой прокурора из-за свидетельских показаний эксперта. Он сказал, что вероятность гибели от синдрома внезапной детской смерти (СВДС) двух младенцев в одной семье составляет 1:73 млн. При этом он не учел априорную вероятность человека оказаться двойным убийцей, которая еще меньше. (Там были и другие проблемы: эксперт не учел, что, если в семье уже был один случай СВДС, вероятность второго увеличивается.) Дело Кларк тоже было пересмотрено – в 2003 году.

Так что же с иммунными паспортами? Если ваш тест на антитела положительный, даже если его чувствительность и специфичность составляют 95 %, вы не знаете, насколько вероятно, что вы перенесли это заболевание. Тут важно, насколько вероятно, что вы болели до того, как прошли тестирование, – это ваша априорная вероятность. Самое очевидное условие – степень распространенности заболевания среди населения.

Предположим: переболело 60 % населения, и вы протестируете миллион человек, тогда среди них будет 600 тысяч переболевших и 400 тысяч не болевших. При этом ваш тест правильно выявит 570 тысяч переболевших и неправильно укажет 20 тысяч человек как переболевших. Так что, если ваш результат положителен, то шансы, что он ложноположителен, составляют всего 3 %.