Корреляционные схемы ненадежны, потому что исследователь не сопоставляет условия и события. Например, много домашней работы или мало, реклама по радио или с помощью рассылок, высокие доходы или низкие. Если вы не назначаете случайным образом условия конкретным случаям — вы получаете все возможные факторы неопределенности. Случаи одного уровня независимой переменной могут отличаться от случаев другого уровня в любом количестве аспектов, часть из них можно идентифицировать, а часть нельзя. Любая из измеряемых или неизмеряемых, или даже воображаемых величин может с большей вероятностью оказывать влияние, чем та независимая величина, которая вас интересует. А может быть и такое, что та величина, которая должна быть зависимой, на самом деле оказывает влияние и вызывает изменения в той величине, которая должна была быть независимой.
Чем больше число представленных случаев — людей, сельскохозяйственных участков и пр., тем больше вероятность, что вы найдете истинный эффект, и тем меньше вероятность, что «обнаружите» эффект, которого там на самом деле нет. Если разница, которую показывает статистический тест любого типа, оказывается такой величины, что она проявляется менее, чем один раз в 20 случайных примерах, мы считаем, что это значимое различие на уровне 0,05. Без подобного теста мы, как правило, не можем узнать наверняка, действительно ли этот эффект имеет место.
Когда вы ставите каждый случай во все группы с различными условиями эксперимента, ваша схема становится более чувствительной. Иными словами, вероятность того, что разница, найденная с помощью внутренней перестановки, будет статистически значима, выше, чем в случае разницы, найденной с помощью сравнения разных объектов, — потому что все возможные различия между любыми двумя случаями полностью контролируются, оставляя в качестве возможного различия, являющегося причиной некой взаимосвязи, исключительно различие, вызванное применением экспериментального метода.
Чрезвычайно важно понимать, могут ли исследуемые случаи (или люди, если вы исследуете их поведение) влиять друг на друга. Если тот или иной случай мог оказать влияние на другие случаи, это значит, что вашему эксперименту недостает статистической независимости. N — число случаев, которые не могут влиять друг на друга. Группа студентов А — это N, равное 1, а не числу студентов. (Здесь могут быть исключения, когда влияние можно считать минимальным, незначительным или отсутствующим, например когда студенты сдают экзамен в специальной аудитории с кабинками, где невозможно разговаривать друг с другом.)
10. Эксперименты естественные и подлинные
Иммунная система новорожденных еще не окрепла, нужно свести к минимуму их контакт с бактериями и вирусами, которые могут привести к заболеваниям.
Дети, которые на раннем этапе жизни контактируют с различными бактериями, впоследствии реже подвержены аллергии.
Со всех сторон — от друзей, коллег и СМИ — на нас сыплются советы о том, как правильно жить и как правильно работать.
Десять лет назад мы узнали, что нужно потреблять как можно меньше жира; теперь нам говорят, что умеренное количество жира в пище полезно для здоровья. В прошлом году говорили, что витамин В6
улучшает настроение и когнитивные функции пожилых людей, в этом году говорят, что он бесполезен для этих целей. А 15 лет назад считалось, что сердечнососудистой системе на пользу стакан красного вина в день; восемь лет назад сообщили, что сгодится любой алкоголь; на прошлой неделе — снова вернулись к красному вину.Даже если мы готовы «по умолчанию» следовать последним медицинским советам, все равно надо решать, как быть с противоречащими друг другу утверждениями. Стоматолог вашей двоюродной сестры рекомендует чистить зубы нитью дважды в день, а ваш стоматолог говорит, что пользоваться нитью можно время от времени.
В финансовом разделе