Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Тот же недостаток проявляется в испытаниях на слишком малочисленных группах. При сравнении двух малых групп достаточно велика вероятность, что одна будет сильно отличаться от другой, потому что в малочисленной группе даже один человек, резко отличающийся от других, легко может исказить результат всей группы. Возьмем, например, исследование, которое проводила психолог Эми Кадди[166]. Вместе с коллегой она изучала, оказывает ли поза, которую мы принимаем, какое-либо воздействие, психологическое или физическое. Оказалось, что поза, выражающая превосходство, – с ногами на столе или разведенными в стороны руками – воздействует очень сильно. Участники исследования не только сообщали, что в такой позе чувствуют себя сильнее; эта поза производила и биологический эффект: уровень тестостерона, гормона доминирования, становился выше, а уровень кортизола, гормона стресса, – ниже. Выступление Кадди на эту тему на конференции TED было одной из самых популярных лекций за всю историю этого формата, а ее книга стала бестселлером.

Но если посмотреть на исходную работу, можно увидеть, что ее выводы были сделаны на основе данных малочисленной группы. В исследовании принимали участие всего сорок два человека. Когда другие исследователи повторили исследование Кадди на группе из двухсот человек, результаты получились менее впечатляющими. Действительно, участники чувствовали себя сильнее, но никаких изменений гормональных уровней зарегистрировано не было[167].

Неудивительно, что исследования на малочисленных группах проводятся до сих пор, особенно в областях, подобных нейробиологии, потому что исследования такого рода обычно бывают чрезвычайно дорогостоящими[168]. Но используя такие исследования для понимания нашей души, нашего здоровья и развития, мы рискуем очень сильно промахнуться.

Решает ли проблему случайная выборка?

Проведя в Институте исследований секса пять дней, три статистика удалились писать отчет о своих выводах. Во время дискуссий с Кинси они выписывали на доске бесконечные формулы и цифры, пытаясь донести до него мысль, что его исследование не было репрезентативным. Профессор яростно сопротивлялся, но – поскольку он не получил никакого образования в области статистики – редко мог привести убедительные контраргументы.

Отчет, который должны были написать статистики, беспокоил Кинси, и он решил отправиться в Нью-Йорк и попросить совета у Джорджа Гэллапа. В то время Гэллап был главным экспертом по части социологических опросов. В 1936, 1940 и 1944 годах он правильно предсказал победителя американских президентских выборов[169]. Но в 1948 году он ошибся в выборе фаворита. Именно исследования Гэллапа и других социологов придали газете Chicago Daily Tribune решимости напечатать заголовок о победе Дьюи.

С тех пор Гэллап осознал вероятную причину своего провала: квотные выборки. Он отправлял своих социологов по всей стране со списками «типов» опрашиваемых, например «женщины среднего класса, живущие в сельской местности». Интервьюеры должны были собрать минимальное число анкет по каждому типу.

Методика Гэллапа казалась логическим решением проблем, которые мы видели выше: никто не исключался из выборки, а квоты обеспечивали сбор достаточного количества данных. Ту же идею до сих пор используют компании, занимающиеся маркетинговыми исследованиями. Они часто стараются опросить жителей всех округов или провинций и получить картину, сбалансированную по полу и возрасту. После сбора данных их дополнительно корректируют, если оказывается, что некоторые группы представлены недостаточно или чрезмерно. Например, если было опрошено слишком мало женщин, ответам респондентов женского пола придается большее значение. Такая корректировка может помочь сделать данные более репрезентативными.

Однако у метода квот Гэллапа есть один неустранимый недостаток. Его ясно иллюстрирует отчет одного социолога о его работе. В 1937 году этот интервьюер набрал свою квоту мужчин с низким уровнем образования, опрашивая строительных рабочих. Он подходил к ним во время обеденного перерыва. «Вы одобряете или не одобряете договор с Германией? – спрашивал он. – А вы? А вы? А как насчет вас?»[170]

Он отмечал, что эта «методика» не применима к представителям более состоятельных классов. «Пришлось бы набраться храбрости и ходить по фешенебельным районам города, пытаясь сообразить, какой дом выглядит наиболее доступным».

А как насчет домов, к которым интервьюер даже подойти не мог из-за сторожевых собак? Или мужчин с низким уровнем образования, которые уходили обедать домой? Возможно, их мнения отличались от мнений их более доступных коллег, но они так и не попали в набор данных этого интервьюера.