MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям

В течение некоторого времени мы продолжали повышать среднее количество приглашений, посылаемых одним пользователем, до тех пор, пока не исчерпали запас идей по повышению рентабельности в этом направлении. Достигнув высшей точки, мы вышли из цикла улучшений для этой метрики и переключили свое внимание на другой показатель вирусного цикла, имевший на тот момент более высокую потенциальную рентабельность инвестиций.

Приведенный пример показывает, насколько простым и эффективным может быть использование аналитики в деле улучшения вашего бизнеса. Вы можете достичь аналогичных результатов, применяя процесс анализа бережливого продукта. Как и в случае с MarketingReport.com, описанным в главе 11, я не делал ничего экстраординарного; просто следовал процессу и принципам, описанным в этой книге.

Оптимизация с применением A/B-тестирования

Как уже обсуждалось в главе 7, A/B-тестирование, также известное как сплит-тестирование, представляет собой количественный метод исследования, в ходе которого вы проводите испытание двух (или более) альтернативных варианта одновременно, чтобы затем сравнить их эффективность. В то время, когда я работал с Friendster, специализированное программное обеспечение, которое сейчас используется для проведения A/B-тестирования, было недоступно, а создание собственного инструментария потребовало бы привлечения большого количества ценных инженерных ресурсов. Поэтому я просто провел сравнение значений улучшаемой метрики по состоянию на «до и после», и получил прекрасный результат. Современные технологии позволяют с легкостью проводить A/B-тестирование для каждой из реализуемых идей по улучшению продукта. Запуск обновленной версии одновременно со старой помогает исключить влияние на результат каких-либо посторонних факторов.

Важным понятием в A/B-тестировании является степень статистической достоверности, которая зависит от различий в характеристиках сравниваемых вариантов и от размера выборки. Существуют онлайн-инструменты, которые помогают рассчитать значение показателя статистической достоверности для любого теста. Соответственно, вам не требуется владеть методикой его расчета, но важно понимать, что статистическая достоверность выше при существенных различиях в характеристиках и при больших размерах выборки. Если размер выборки слишком мал, вы не получите статистически значимых результатов. Если объектами тестирования являются два очень схожих по характеристикам варианта, может потребоваться очень большой размер выборки, чтобы выявить хоть какие-то статистически значимые различия показателей.

Арсенал инструментов для проведения A/B-тестирования отличается большим разнообразием и включает в себя такие приложения, как Optimizely, Unbounce, KISSmetrics, Visual Website Optimizer и Google Content Experiments (в составе Google Analytics). Многие компании предпочитают создавать собственные платформы для A/B-тестирования. Все эти инструменты позволяют взять один или несколько подлежащих проверке вариантов (например, целевой страницы) и затем случайным образом распределить между ними пользовательский трафик. Далее происходит отслеживание результатов по интересующему вас показателю, что в итоге обеспечивает понимание того, как работает каждый из протестированных вариантов с указанием степени статистической достоверности, рассчитанной на основании размера выборки.

Многие компании включают A/B-тестирование в качестве обязательного этапа процесса разработки своих продуктов, особенно при внесении в них серьезных изменений. Вместо того чтобы сразу заменять прежнюю версию продукта новой, они оставляют ее в работе для большей части своих клиентов и дают доступ к обновленной версии лишь небольшому проценту пользователей. Затем они сравнивают полученные в ходе этого эксперимента значения ключевых показателей для существующей и обновленной версий. Прежде чем увеличить процент пользователей, которые получают доступ к новой версии, команда разработчиков хочет убедиться в том, что предполагаемые улучшения, которые и являлись целью создания обновления, действительно имеют место, при том что другие ключевые показатели продукта существенно не ухудшились. Такой процесс, иногда называемый дросселированием, является отличным способом применения принципов бережливого производства для снижения рисков, возникающих после запуска продукта. На заключительном этапе, если отслеживаемые показатели выглядят хорошо, 100 % пользователей переводят на новую версию продукта, а старая просто уходит в небытие.