Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Таково было бы возражение Кинси против требований проведения опроса на случайной выборке, которое выдвигали три статистика: слишком немногие согласились бы принять участие. Тем не менее не обращаться к тем, кто может отказаться отвечать, тоже нельзя, так как необходимо понять, какое влияние оказывает на результат группа не согласившихся участвовать – как это было в опросе о сексуальном насилии. Отсутствие этой информации не только сделало исследование сексуальности Кинси недостоверным, но и лишило нас возможности определить, насколько недостоверным оно было.

5. Пренебрежение погрешностями

Неправильные вопросы, исключение, слишком маленькие выборки и отказы от ответов – это четыре причины, по которым опросы отражают реальность не так точно, как кажется. Но, даже когда вопросы нейтральнее Швейцарии, а выборка репрезентативна и достаточно велика, остается проблема, которая не будет решена никогда: опрашивают не всех. На вопросы отвечает лишь часть целой группы – в этом и состоит идея выборки. Такая меньшая группа редко выглядит в точности так же, как вся популяция. Если бы Кинси использовал случайную выборку, он получил бы в некоторых случаях чуть большее количество гомосексуалов, чем в других. Или меньше неверных супругов. Просто потому, что конечный состав группы случаен.

Поэтому у любого опроса всегда есть погрешность. Ее величина показывает, насколько результат может отклоняться от реальности[177]. Вообще говоря, чем крупнее выборка, тем меньше погрешность. Точную величину погрешности можно вычислить по формуле, но еще легче использовать онлайн-калькулятор на сайте вроде goodcalculators.com, рассчитывающий погрешности для случайных выборок.

Предположим, Кинси действительно формировал свою выборку случайным образом. Когда он заключил, что 50 процентов его респондентов изменяли своим супругам, какова была бы погрешность его результата? Если он опросил всего 100 мужчин, доля неверных мужей могла быть выше или ниже на величину до 10 процентных пунктов[178]. Величина погрешности – целых 20 процентных пунктов. Но, поскольку в его выборке было около 5300 мужчин, погрешность составляла бы всего 1,3 процентного пункта.

СМИ часто упускают из виду погрешности опросов, что особенно заметно, когда речь идет о выборах. Предвыборные опросы могут ошибаться на пару процентных пунктов, но даже незначительным колебаниям в газетных колонках и на диванах ток-шоу иногда придается огромное значение.

Поэтому, когда многочисленные газеты утверждали в 2016 году, что опросы общественного мнения относительно американских выборов дали катастрофически ошибочные результаты, они были не столь ошибочными, как казалось, если учесть погрешности. В некоторых штатах интервьюеры, проводящие опрос, несомненно, сели в лужу. В штате Висконсин Трамп получил на шесть процентных пунктов больше, чем предсказывали опросы юридического факультета Университета Маркетта; в пригородах Милуоки – на целых десять процентных пунктов больше[179].

Но в общем и целом предсказания опросов были достаточно точными. В конечном счете Трамп набрал в «народном голосовании» – по числу голосов всего населения Соединенных Штатов[180] – всего лишь на 1–2 процентных пункта больше, чем предсказывали опросы, то есть в пределах погрешности авторитетных служб общественного мнения вроде ABC News/Washington Post, которые сообщали о погрешности в 4 процентных пункта[181]. Таким образом, если учесть погрешность, в победе Трампа нет ничего удивительного. Более того, разрыв между опросами и результатом был даже меньше, чем в 2012 году, когда выборы выиграл Обама, а тогда на цифры никто не жаловался[182]. В 2016 году неправы были не исследователи общественного мнения, а СМИ.

Какой из этого следует урок? При сборе численных данных результаты почти никогда не могут быть абсолютно точными. Их следует считать не точным представлением истины, а чем-то подобным виду сквозь матовое стекло: контуры различить можно, но то, что находится по ту сторону стекла, никогда не удастся увидеть во всех подробностях.

Интермеццо

Телеведущая Дион Стакс говорит о процентах

«Маленькое замечание, – сказала Дион Стакс в передаче нидерландского телевидения 18 марта 2015 года[183]. – На самом деле, если говорить точно, я должна сказать “процентные пункты”, но сегодня мы этого делать не будем. У меня будут проценты. Так и знайте».

Это работает как часы: на каждых выборах люди сетуют на неправильное использование слова «проценты». Та же история случилась и на нидерландских региональных выборах. Когда Стакс обсуждала их результаты в телеэфире, на нее вскоре посыпались критические замечания в твиттере. Причина: она путала «проценты» и «процентные пункты».