Как измерить все, что угодно

Теперь для каждого значения в исходном диапазоне (и даже немного за его пределами, чтобы получить «хвосты» в уравнении) мы рассчитываем P(Prop = X), P(Попадания = 14/20|Prop = X) и P(Prop = X |Попадания = 14/20), для каждого приращения на 1 % повторных покупателей в генеральной совокупности величина P(Попадания = 14/20) для всех одинакова и равна 8,56 % (см. табл. 10.1).

Значения в последнем столбце — вероятности данного процента повторных покупателей в их генеральной совокупности. Если суммировать накопленные значения в последнем столбце (складываем все предшествующие значения в строке), то выяснится, что итог составит около 5 %, когда процент повторных покупателей достигнет 79 %, и 95 %, когда этот процент будет равен 85 %. Это означает, что наш новый 90-процентный CI сократится до 79–85 %. Это не слишком большое сужение первоначального диапазона (75–90 %), но тем не менее достаточно информативное. Теперь, согласно накопленным значениям последнего столбца, вероятность того, что мы находимся ниже основного порога в 80 %, составляет 61 %. Эту электронную таблицу целиком можно найти на веб-сайте: www.howtomeasureanything.com

Похоже, что удержание покупателей у нас не на высоте. Но мы пересчитаем стоимость этой информации, и хотя она уменьшится, окажется, что провести дополнительные измерения все равно имеет смысл. Выберем еще 40 покупателей, и тогда в сумме их будет 60 человек. Из этих 60 только 39 скажут, что вернутся в наш магазин. Наш новый 90-процентный CI окажется равным 69–80 %. Теперь верхняя граница равняется нашему первоначальному критическому порогу 80 %, давая 95-процентную уверенность, что доля повторных покупателей низка настолько, что требует от нас серьезных, дорогостоящих изменений.

Расчеты оказались довольно сложными, но помните, что вы можете воспользоваться таблицами, приведенными на нашем вспомогательном сайте. И вполне возможно, что в данном случае сработал бы обсуждавшийся ранее субъективный байесовский метод, применяемый калиброванными экспертами. Возможно, опрос покупателей выявит такие качественные факторы, которые сумеют учесть наши калиброванные специалисты. Однако стоимость результатов этих важных измерений достаточно высока, чтобы оправдать наши дополнительные усилия.

Можно использовать рисунок, изображающий долю генеральной совокупности из главы 4[31] (хотя мы и искали бы интервал для покупателей, которые не захотели бы вернуться в магазин, так как численность подгрупп меньше половины размера выборки). Но с этим первоначальным диапазоном работать нельзя. Рисунок, приведенный в главе 9, был, между прочим, также составлен на основе байесовской инверсии, если не считать того, что я начал с максимально возможной неопределенности: равномерного распределения этой доли генеральной совокупности в диапазоне от 0 до 100 %. Используя такой широкий диапазон в примере из этой главы, мы получили бы более широкий интервал с еще более худшей нижней границей по сравнению с представленным здесь способом. В этом случае мы начали с того, что получение результатов, потенциально таких же плохих, как допущения в главе 9 (даже учитывая наши разочаровывающие результаты), маловероятно. Байесовский интервал, плох он или хорош, учитывает прежние знания. Однако с увеличением размера выборки влияние первоначального интервала уменьшается. Выбрав 60 или более объектов наблюдения, мы получим ответ, весьма близкий к результату параметрического метода определения доли генеральной совокупности.

Овладев такого рода анализом, вы сможете пойти дальше и узнать, как решаются подобные проблемы, когда первоначальное распределение не является нормальным. Например, распределение может быть равномерным или нормально усеченным и не предполагать, что повторными покупателями окажутся более 100 % (верхний хвост графика или нормального 90-процентного CI дает малую вероятность того, что это произойдет). С примерами таких распределений можно ознакомиться на нашем вспомогательном веб-сайте.

ИЗБЕГАЙТЕ «ИНВЕРСИИ НАБЛЮДЕНИЯ»

Многие задают вопрос: «Какой вывод я могу сделать из этого наблюдения?» Но Байес показал нам, что нередко полезнее задать вопрос: «Что я должен наблюдать, если будет соблюдаться условие X?» Ответ на последний вопрос позволяет разобраться с первым.

Xотя на первый взгляд байесовская инверсия может показаться весьма трудоемкой, она относится к наиболее эффективным из имеющихся в нашем распоряжении методам измерения. Если удастся сформулировать вопрос «Какова вероятность увидеть X, если справедливо Y?» и превратить его в «Какова вероятность того, что справедливо Y, если мы наблюдаем X?», то можно решить огромное число задач по измерению. В сущности, именно так мы и находим ответы на большинство научных вопросов. Если предложенная гипотеза верна, то что мы должны наблюдать?