Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее

Однако, когда идея, которая интересует исследователей, не является ясно просматриваемой или измеримой, они могут использовать прокси-конечную точку (еще ее называют суррогатной конечной точкой или маркером) – метрику, тесно связанную с конечной точкой, которую они измерили бы, если бы могли. Слово прокси означает замену кого-то или чего-то. Другие примеры использования этой ментальной модели включают в себя прокси-голосование (например, заочное голосование) и прокси-войну (например, текущие конфликты в Йемене и Сирии являются прокси-войной между Ираном и Саудовской Аравией).

Хотя качество университетов нельзя оценить одной объективной мерой, новостной журнал U.S. News and World Report пытается составить рейтинг учебных заведений с помощью прокси-меры, составленной из таких объективных факторов, как число выпускников и посещаемость, вместе с более субъективными мерами, такими как академическая репутация. Другие примеры распространенных прокси-мер включают в себя индекс массы тела (ИМТ) для оценки степени ожирения и IQ, которым измеряют интеллект. Прокси-меры более подвержены критике, потому что являются непрямыми мерами, и все эти три примера не исключение.

Чтобы понять, почему эта критика бывает обоснованной, рассмотрим аномальные сердечные ритмы (желудочковые аритмии), которые вызывают внезапную смерть. Были разработаны лекарства от желудочковой аритмии, и очевидно, что они должны защищать от внезапной смерти тех, кто их принимает. Но на самом деле использование этих препаратов приводит к значительному увеличению числа случаев внезапной смерти среди пациентов с бессимптомной желудочковой аритмией после сердечного приступа. Для этих пациентов снижение частоты желудочковых аритмий после лечения не является индикатором выживаемости, то есть хорошим показателем.

Несмотря на сложности при проведении хорошо организованных экспериментов, реальные научные доказательства надежнее единичных случаев, поскольку они позволяют делать правдоподобные выводы. Да, нужно остерегаться ложных корреляций и скрытых искажений (подробнее о них мы расскажем в следующем разделе), но в итоге вы получите результат, который сильно улучшит ваше мышление.

Скрытые искажения

В предыдущем разделе мы упомянули несколько вещей, на которые нужно обратить внимание при рассмотрении или проведении эксперимента, – таких как эффект ожиданий экспериментатора и смешанные факторы. Есть еще несколько скрытых явлений, которых следует опасаться.

Прежде всего, иногда неэтично и непрактично случайным образом делить людей на разные экспериментальные группы. Например, если исследователи хотят изучить, как курение влияет на беременность, будет неправильно заставлять некурящих беременных курить. Курильщиками в исследовании, таким образом, могут быть те, кто решит продолжать курить, что приводит к искажению под названием систематическая ошибка отбора.

При систематической ошибке отбора нет никакой гарантии, что курение будет единственным различием между этими группами. Поэтому, если исследование покажет разницу, будет трудно определить, какую роль в этом сыграло курение. Например, женщины, которые решили продолжать курить во время беременности вопреки советам врачей, могут принимать и другие спорные с точки зрения медицины решения, которые приводят к неблагоприятным последствиям.

Систематическая ошибка отбора также возникает, если выборка эксперимента не является типичной для основной массы населения, как это бывает с онлайн-опросами.

Если изучаемая группа не является типичной, то результаты нельзя применить для всех.

В общем, нужно очень осторожно делать выводы на основе нерандомизированных экспериментов. Комикс про Дилберта, приведенный ниже, высмеивает ошибку отбора, присущую множеству исследований, о которых говорят в новостях.

Дилберт © 2001 Скотт Адамс. Используется с разрешения Andrews McMeel Syndication. Все права защищены.

Похожую систематическую ошибку отбора делают родители, когда выбирают школу для своих детей. Понятно, что они хотят сделать все, что в их силах, и даже переезжают или доплачивают, чтобы дети учились в «лучших школах». Но почему эта школа считается лучше? Из-за учителей? Или детей там лучше готовят благодаря материальной обеспеченности родителей и интересу к образованию? Ошибка отбора, скорее всего, объясняет немалую долю высоких результатов экзаменов в этих школах и количество выпускников, поступивших в колледж.

Другой тип ошибки отбора, часто встречающийся в анкетах, – это искажение неответа, которое возникает, когда подгруппа людей не участвует в эксперименте после того, как была выбрана для него, то есть не отвечает на вопросы. Если причина отсутствия ответа связана с темой анкеты, конечный результат будет искаженным.