4.
5.
6.
А как понять результат теста? Многие определяют его на глаз: «Вроде заказов больше не стало». Это в корне неверный подход. Следует замерять все возможные показатели: CTR, конверсию сайта, конверсию отдела продаж (возможно, заявок стало больше, но их качество упало), средний чек, время на сайте, глубину просмотра, показатель отказов. Изучи все показатели по отдельности и в комплексе и только после этого оставь лучший вариант.
Есть время, когда тесты проводить я категорически не рекомендую, так как погрешность будет очень большой. Это стыки сезонов покупательской активности, времён года, государственные праздники.
Как ты думаешь: 16 августа и 1 сентября, 29 декабря и 12 января поведение потребителей будет одинаковым? Потребности и «боли» те же? Денег в кармане всегда одинаковое количество? Разумеется, какие-то колебания происходят постоянно: дни выдачи зарплат, колебания курса доллара, погода на улице, ТВ-программы и прочее всегда будут добавлять некую погрешность. Если обращать на это внимание, особенно на первых этапах, мы не сможем ничего протестировать. Но есть время, когда тесты проводить я категорически не рекомендую, так как погрешность будет очень большой. Это стыки сезонов покупательской активности, времён года, государственные праздники. Кроме того, всегда стоит учитывать, что в нишах бывает большая и меньшая активность (проведение крупных фестивалей, чемпионаты, выборы, митинги, войны, падение метеоритов и т. д.) – из-за этого спрос может резко меняться. Пример в моей нише: есть один крупный бизнес-тренинг, который проходит несколько раз в год; в один из выходных на нём дают задание настроить Яндекс. Директ, и в течение недели спрос на мои услуги очень большой: много посещений сайта и группы, заявок. Но при этом качество заявок такое, что приходится всем отказывать («настройте мне 5000 объявлений за два дня и за 500 рублей»). Зато многие из обратившихся становятся хорошими клиентами потом, через 3-12 месяцев после тренинга.
В любом случае результат теста нужно закрепить. Для этого есть два варианта. Во-первых, его можно повторить заново и сравнить результаты. Во-вторых, полезно провести А/А-тест. То есть создать те же самые условия, при этом чередуя два абсолютно одинаковых варианта. Порой выводы удивляют и огорчают – у А/А-теста разница между двумя вариантами бывает не меньше, чем у А/Б-теста. И в этом случае принять решение о том, какой вариант оставить, будет очень и очень сложно.