Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Часто бывает так, что научные исследования делают похожие общие выводы, исключая из рассмотрения определенные группы. Например, в области психологии преобладают исследования, проводимые в западных странах. В обзорной статье 2008 года было показано, что за предыдущие пять лет 95 процентов работ были выполнены на участниках из западных стран, причем большинство из них – 68 процентов – были из Соединенных Штатов[159]. Мало того, участники исследований происходили из очень конкретной группы: это были студенты психологических факультетов исследовательских университетов. Они всегда были под рукой и охотно соглашались принять участие в исследовании всего лишь за пакетик конфет.

Психолог Джозеф Хенрих и его коллеги утверждают, что в выборки в психологии входят представители обществ типа WEIRD[160]: «Western, Educated, Industrialized, Rich and Democratic» (западных, образованных, индустриальных, богатых и демократических)[161]. Результаты исследований часто обобщают на «всех», в то время как люди WEIRD могут радикально отличаться от других групп.

Эти отличия можно увидеть даже в базовых психологических процессах. Возьмем, к примеру, иллюзию Мюллера-Лайера: вас спрашивают, какая из линий длиннее – A или B (см. левый чертеж на иллюстрации). Большинству из нас кажется, что линия A длиннее. На самом деле, как видно из правого чертежа, эти линии одинаковой длины. Это классический пример оптической иллюзии, но исследования общин, не принадлежащих к обществам типа WEIRD, показывают, что она действует не на всех. Например, члены племени, живущего в пустыне Калахари, не видели между этими линиями никакой разницы[162].

Иллюзия Мюллера-Лайера

Исключение из выборки определенных групп может иметь далеко идущие последствия. До 1990 года большинство лекарств испытывали в первую очередь на мужчинах[163], так как исследователи опасались, что женщины могут забеременеть во время испытаний, и не хотели рисковать. Разразившийся в 1950-х и 1960-х годах скандал с талидомидом – когда тысячи детей родились с физическими недостатками из-за того, что их матери принимали во время беременности этот препарат, – показал, к каким серьезным последствиям это может приводить. Во всяком случае считалось, что женщин исследовать трудно, потому что их гормональный уровень ежемесячно колеблется.

Однако реакция женщин на некоторые лекарства может весьма сильно отличаться от мужской. В 2001 году, когда Счетная палата США расследовала случаи отзыва медикаментов в связи с опасными побочными эффектами, выяснилось, что восемь из десяти таких лекарств влияли на женщин сильнее, чем на мужчин. Четыре препарата из этой группы чаще прописывали женщинам, но другие четыре в равной мере использовали оба пола, и тем не менее от их побочных эффектов пострадало больше женщин. Например, препарат позикор приводил к замедлению или остановке сердцебиения у пожилых женщин, но не у пожилых мужчин[164].

К счастью, за последние несколько лет в этом отношении были приняты меры. И в Соединенных Штатах, и в Европейском союзе появились законы, благодаря которым было урегулировано участие женщин в медицинских испытаниях. Но это не отменяет того факта, что исключение некоторых групп из выборки может быть чрезвычайно опасно.

3. Слишком малая выборка опрошенных

Размер выборки не гарантирует, что исследование будет репрезентативным. Но размер выборки все же имеет значение. Взять, к примеру, исследования Арчи Кокрана в лагере военнопленных. Впоследствии он назвал их самыми успешными своими испытаниями: при содействии немцев ему удалось справиться с отеками. Но эти же исследования он считал и худшими во всей своей практике: он изучал всего двадцать человек, по десять в каждой из двух групп[165].

Недостаток малой группы состоит в том, что она с гораздо большей вероятностью может дать экстремальные результаты. Скажем, вы выходите на улицу и заговариваете с первым встречным. Это оказывается женщина. Затем вы говорите со следующим прохожим, и это тоже оказывается женщина. Было бы нелепо заключить, исходя из этой выборки, что 100 процентов людей – женщины. Чем дольше вы продолжаете свои исследования, тем меньше шанс, что вся выборка будет состоять из женщин, и тем точнее эта выборка будет представлять общий состав популяции. Именно поэтому проводить опрос на малочисленной выборке – это вряд ли хорошая идея: его результаты вполне могут сильно отличаться от параметров той группы, которая вас интересует.