Я могу попытаться обойтись всего одним броском. Если выпадет решка, я буду счастлив; одна решка в одном броске – это больше, чем пороговые 75 %. Такое возможно в половине случаев. Наилучший мой шанс убедить окружающих в своей правоте – сделать всего один бросок, но они могут справедливо возразить, что им требуется больше данных, чтобы быть уверенными, и попросят меня подбросить монету еще раз. При двух бросках мне нужно, чтобы решка выпала дважды – если решка и орел выпадут по разу, вероятность выпадения будет равна только 50 % и мои аргументы не пройдут. Как видно на рис. 17, две решки – это только один из четырех равновероятных результатов при двух бросках правильной монеты, так что я сумею убедить только четверть зрителей. Вероятность того, что монета выпадет решкой по крайней мере в 75 % бросков, быстро уменьшается по мере увеличения размера выборки, как показано на рис. 18. Когда размер выборки дойдет до ста бросков, мои шансы убедить кого-либо в том, что монета «предвзята», упадут до 0,00000009.
Рис. 17. Возможные комбинации орлов (H) и решек (T), выпадающие при различном количестве бросков монеты, до четырех бросков включительно. Справа от разделительной линии показаны результаты, когда решки выпадают по крайней мере в 75 % случаях, слева – когда они выпадают реже
По мере увеличения размера выборки уменьшается разброс вокруг среднего значения (в данном случае средним значением будет 50 % решек); становится все труднее убедить кого-то в том, что это неправда. Поэтому достоверность представленных в рекламе L’Oreal результатов, которые были получены на выборке всего 34 человека, не может не вызывать определенные сомнения.
Как правило, рекламные объявления, основанные на результатах «исследований» с небольшой выборки, сообщают о своих достижениях в процентах (82 % имеют удивительно гладкую кожу), а не в сравнительных долях (кожа стала удивительно гладкой у 28 из 34 участников), чтобы скрыть досадно малый размер выборки. При этом совпадение хотя бы двух показателей (как и в рекламе Genifique, где два показателя были одинаковыми: «удивительную гладкость» и «общее улучшение» отметили по 82 % участников) недвусмысленно свидетельствует о ее скромной величине. Более того, у маленькой выборки респондентов и выбор ответов невелик, если производитель хочет убедить потенциальных покупателей, что товар хорош, но опасается переборщить с его расхваливанием (позитивные оценки в диапазоне от 95 до 100 % могут выглядеть подозрительно). При большом размере выборки вероятность того, что на два разных вопрос в одинаково положительные ответы даст равное количество людей, гораздо меньше.
Рис. 18. Чем чаще мы подбрасываем настоящую «правильную монету», тем быстрее тают шансы убедить кого-то в том, что она «предвзята» в пользу решки
В 2014 году Федеральная торговая комиссия (ФТК) направила компании L’Oreal предупреждение об использовании недостоверной информации в рекламе линейки продуктов Genifique [113]
. ФТК утверждала, что цифры на диаграммах объявлений были «ложными или вводящими в заблуждение» и не подтверждены научными исследованиями. В ответ L’Oreal согласилась прекратить «заявления об этих продуктах, искажающие результаты любых тестов или исследований».Достоверность исследования продуктов линейки Genifique, по всей видимости, была скомпрометирована не только отклонением малой выборки, но и такими погрешностями отбора, как умышленные ошибки в ответах или пристрастный выбор респондентов. Если L’Oreal набирала участников исследования, например, через объявление на своем сайте, то на это объявление, скорее всего, отреагировали женщины, изначально благосклонно настроенные к продуктам L’Oreal и готовые высоко их оценить (умышленные ошибки в ответах). Или же компания намеренно выбирала для участия в тесте тех женщин, кто и раньше давал хорошие отзывы о продуктах L’Oreal (пристрастный выбор респондентов).