Если вы не хотите в результате получить мусор, откажитесь от него в самом начале. Всегда помните об этом, принимаясь за новый проект, — и конечный результат обязательно оправдает ваши надежды.
Качественный вход — качественный выход.
Аналитическая честность
То, что может быть разрушено правдой, должно быть разрушено.
На последнем рабочем месте в Procter & Gamble я должен был разработать стратегию маркетинговых измерений
— придумать способ определения эффективности рекламы нашей компании в сети. Каждый год P&G тратила миллионы долларов на рекламные баннеры, продвижение в поисковой системе и создание видеороликов. Я должен был понять, стоят ли результаты затраченных денег.В процессе работы моя команда выяснила, что система,
которую мы использовали для подсчета уникальных посетителей наших сайтов, работала неправильно. Она учитывала не только реальных пользователей, но и поисковых роботов, которые заходили на наши интернет-страницы по несколько раз в день. Иначе говоря, мы попали в ситуацию мусор на входе — мусор на выходе, и все наши измерения оказались бесполезными.Естественно, мы рекомендовали модернизировать систему подсчета посетителей. Но наше предложение не вызвало энтузиазма в компании. Все сотрудники знали, что собираемые системой данные бесполезны, но, похоже, им было все равно. Странно, правда?
Проблема заключалась вот в чем: установка новой системы подсчета сильно уменьшила бы количество уникальных посетителей сайта, то есть то, что большинство считало ключевым показателем деятельности.
Будучи более точной, новая система выставила бы их работу сотрудников в невыгодном свете. Исправлению ошибки они предпочли дальнейшую жизнь во лжи и сами поставили под сомнение свою способность увеличить эффективность работы сайта.Аналитическая честность
означает беспристрастные измерение и анализ имеющихся у вас данных. Поскольку мы, люди, существа социальные, нам свойственно переживать из-за того, что подумают о нас другие, и это заставляет нас приукрашивать реальность. Если вы действительно хотите произвести улучшения, такое стремление может помешать сбору точных данных и проведению объективного анализа.Чтобы сохранить объективность по отношению к данным, лучше всего попросить, чтобы их оценил человек не заинтересованный, со стороны. Поддаться искажению, вызванному стимулированием,
и предвзятости подтверждения легко, когда на кону стоит ваше социальное положение. Наличие опытного, но беспристрастного третьего лица, которое проверит ваши методы измерения и анализа, имеет огромное значение: может быть, вам и не понравятся его выводы, но по крайней мере вы будете точно знать, как обстоят дела.Снимите розовые очки и постарайтесь объективно принять те данные, которые в конечном счете помогут вам совершенствовать вашу систему
Контекст
Чтобы что-то понять, нужно знать контекст.
В этом месяце ваш доход составил 200 тысяч долларов. Это хорошо или плохо?
Зависит от обстоятельств. Если в прошлом месяце вы заработали 100 тысяч долларов — это хорошо. А если в этом месяце вы потратили 400 тысяч долларов — это плохо.
Контекст
— это использование соответствующих измерений с целью предоставления дополнительной информации о данных, которые вы исследуете. Чтобы выбрать между «хорошо» и «плохо», недостаточно знать свой доход — нужна дополнительная информация. Размер дохода за предыдущий месяц и расходов в нынешнем месяце и есть тот контекст, который поможет прояснить всю ситуацию.Обобщенные измерения практически всегда бесполезны, особенно когда речь идет о реальных улучшениях, поскольку они лишены контекста. То, что на ваш сайт в этом месяце зашло 2 миллиона пользователей, ни о чем не говорит. Без контекста вы не можете определить, было ли внесено в систему
какое-либо изменение или насколько эффективно она работает, а это, в свою очередь, ограничивает вашу способность ее усовершенствовать.Старайтесь принимать во внимание не только цифры, но и контекст: без него вы рискуете пропустить какое-нибудь важное изменение в данных. Даже зная «общий показатель качества» или то, что доход увеличился или уменьшился, вы не сможете понять, важно это или нет и почему так произошло (случайность это или следствие какого-то изменения в системе или среде).
Возьмите себе за правило всегда рассматривать каждое измерение в контексте с другими измерениями.
Выборка