Искусство статистики. Как находить ответы в данных

Толпа в нашем маленьком эксперименте продемонстрировала значительную мудрость, даже несмотря на несколько странных ответов. Это показывает, что, хотя данные часто включают ошибки, выбросы и другие странные величины, их вовсе не обязательно выискивать и исключать. Кроме того, это указывает на полезность использования характеристик выборки, на которые не влияют даже столь эксцентричные наблюдения, как 31 337. Такие характеристики называются робастными (то есть устойчивыми) и включают медиану и интерквартильный размах. Наконец, эксперимент подчеркивает ценность обычного просмотра данных – урок, который будет подкреплен следующим примером.

Разница между группами чисел

Сколько сексуальных партнеров имеют британцы в течение жизни?

Цель этого вопроса вовсе не любопытство относительно личной жизни людей. Когда в 1980-х годах обозначилась вся серьезность проблемы СПИДа, представители организаций здравоохранения Великобритании осознали, что не располагают достоверными данными о сексуальном поведении в стране, в частности о частоте смены партнеров, количестве людей, имеющих одновременно нескольких партнеров, а также об используемых сексуальных практиках. Такая информация была необходима для прогнозирования распространения болезней, передающихся половым путем, и планирования медицинских услуг. Однако люди все еще пользовались данными Альфреда Кинси для США 1940-х годов, а он не пытался получить репрезентативную выборку.

В конце 1980-х в Великобритании и США, несмотря на противодействие определенных кругов, были проведены масштабные, дорогостоящие и тщательные исследования сексуального поведения. И хотя Маргарет Тэтчер в последний момент отказалась поддержать работы по изучению сексуальных привычек в стране, к счастью, ученые смогли найти благотворительное финансирование, и в результате каждые 10 лет после 1990 года проводят Национальное исследование сексуальных отношений и образа жизни (Natsal).

Третье исследование (Natsal-3) проводилось в 2010 году и обошлось в 7 миллионов фунтов стерлингов[52]. В табл. 2.2 представлены сводные данные из Natsal-3 о количестве сексуальных партнеров (противоположного пола), о которых сообщили люди в возрасте от 35 до 44 лет. Хорошее упражнение – использовать эти сведения, чтобы самостоятельно реконструировать, как могут выглядеть данные. Отметим, что наиболее часто встречающееся значение (мода) – это 1, то есть группа людей, у которых за жизнь был всего один партнер, по-прежнему велика. В таблице также отражены принципиальные различия между средними арифметическими и медианами, что говорит о распределениях с длинным правым хвостом. Среднеквадратичные отклонения велики, и это не лучшая мера разброса из-за неоправданно сильного влияния нескольких чрезвычайно больших значений в выборке.

Таблица 2.2

Сводные статистические данные о количестве сексуальных партнеров (противоположного пола) за всю жизнь, согласно ответам 806 мужчин и 1215 женщин в возрасте 35–44 лет, участвовавших в опросе Natsal-3 в период с 2010 по 2012 год. Среднеквадратичное отклонение включено для полноты картины, хотя и не является удачной характеристикой при таком разбросе данных

При сравнении ответов мужчин и женщин можно отметить, что у мужчин партнеров больше, чем у женщин – как по выборочному среднему (около 6), так и по медиане (3). Или, если воспользоваться относительными показателями, число партнеров, которое сообщают мужчины, примерно на 60 % больше, чем у женщин – как для выборочного среднего, так и для медианы.

Такая разница может вызвать у нас подозрения в отношении данных. В замкнутой генеральной совокупности (популяции) с одинаковым количеством мужчин и женщин и примерно одинаковым возрастным профилем среднее (в смысле среднее арифметическое) число партнеров противоположного пола у мужчин и женщин должно быть практически равнозначным![53] Так почему же мужчины в возрастной группе от 35 до 44 лет сообщают о значительно большем количестве партнеров, чем женщины? Отчасти это может объясняться наличием у мужчин более молодых партнерш, которые не попадают в этот возрастной диапазон, а отчасти существованием систематического расхождения между тем, как мужчины и женщины учитывают свою сексуальную историю. Похоже, мужчины склонны преувеличивать число партнеров, а женщины – преуменьшать, или верно и то и другое.

На рис. 2.4 показано реальное распределение, которое подтверждает мнение о тяжелых правых хвостах, сложившееся на основании параметров, представленных в таблице. Кроме того, при взгляде на диаграмму видны и другие важные детали, такие как склонность мужчин и женщин указывать округленные числа при наличии десяти и больше партнеров (за исключением одного педантичного мужчины, возможно, статистика, который точно указал: сорок семь). Конечно, вы можете задуматься о достоверности таких сведений, а возможные искажения в них мы обсудим в следующей главе.

Рис. 2.4