Смысл в том, что нам нужно знать предельные значения, чтобы понять, не пересекаются ли они. Просто самый худший результат может дать 41 конверсию по версии А, а по версии Б может дать 63 конверсии. Теоретически, если поменять местами, мы могли бы получить те же самые показатели. Это говорит о том, что результат математически недостоверен, то есть версии А и Б работают одинаково.
Рассмотрим второй пример (рис. 9.8).
На этом примере мы видим по версии А 150 конверсий, а по версии Б 95 конверсий. Точно так же находим корень из версий А и Б. В одном случае это 12, в другом – 10.
Дальше нужно умножить на 2 для того, чтобы получить 95 %-ную вероятность достоверности. В итоге:
• по версии А: 150 ± 12 × 2 = от 126 до 174 конверсий;
• по версии Б: 95 ± 10 × 2= от 75 до 115 конверсий.
Рис. 9.8.
Пример 2Они не перекрываются. Минимально по версии А мы получили 126, а максимально по версии Б – всего 115 конверсий. Это говорит о том, что результат математически достоверный. Мы можем говорить, что версия А в 95 % случаев даст лучший результат, чем версия Б.
Если говорить о системах подсчета трафика, то существует специальный показатель, который называется chance to bit original – «вероятность победить оригинальную версию». Он показывает нам, что найдена лучшая комбинация.
Вам нужно обращать внимание на этот показатель. Если у вас меньше 95 % вероятности, тогда тест еще математически не валиден. А что для вас означает 120–150 конверсий? Это 150 заявок и звонков.
Вот пример из Google Analytics (рис. 9.9): вероятность превосходства над исходным вариантом. Справа выделено, где это показывается. 100 %, не бывает 99,7 %.
Что такое Z? Z – это коэффициент. Он берется из математической статистики, просто нужно понимать, что Z равен либо 1, либо 2, либо 3. В нашем случае нужно умножать на 2. Это статическое число, оно всегда равно 2 в вашем случае. Если Z равен 2, вероятность 95 %, то можно утверждать, что у нас тест прошел хорошо и все так и будет, если отключить другую версию.
Рис. 9.9.
Подсчет дисперсии системами тестированияВажные элементы
Мало того, что всегда необходимо делать предварительный тест, нужно еще тестировать правильные и важные детали.
Какие элементы самые главные? Конечно, это следующие.
Заголовок
– что в нем написано и в какой форме он сформулирован: утверждение, вопрос и т. д.Цена
– точнее, решение о ее позиционировании – отсутствие или наличие, оформление и визуальное восприятие.Оффер
– то, что вы предлагаете клиенту. Различные предложения дают различные результаты. Иногда оффер можно оформлять в виде акций на то предложение, которое вы даете, или же давать некое предложение, к которому идут бонусы. Это сильный стимул для клиента.Призыв к действию
– то, что человек получит в результате заполнения заявки. Чем понятнее будет ваш призыв действию, тем лучше.Картинка
– помогает определить очень много важных вещей. В том числе позволяет клиенту получить некое эмоциональное впечатление, идентифицировать себя или посмотреть на возможный результат/выгоду.Цвет кнопки –
красный, синий. В зависимости от того, какой контингент публики. На самом деле не столько важен цвет, сколько контраст. Чем более контрастная кнопка, тем больше вероятность, что на нее кликнут. Чем она больше, тем больше вероятность, что ее заметят.Размер (длина) лендинга
– короткий или длинный. В каких-то ситуациях лучше работает короткий лендинг (например, при сборе подписной базы), в каких-то – длинный.Виды тестирования
Элементы, которые вы можете тестировать, мы разобрали, теперь перейдем непосредственно к самим видам тестирования.
Существует минимум три теста из тех, которые нужно проводить постоянно: это АБ-тестирование, мультивариантное тестирование и тест на юзабилити.
АБ-тестирование
– это сравнение нескольких версий вашего лендинга, при котором трафик может попеременно попадать то на версию А, то на версию Б или вообще на версию С.Многовариантное тестирование
– это тестирование комбинаций нескольких элементов. Одновременно на одном уровне тестируется заголовок, цвет кнопки и ее надпись. Соответственно, возможность комбинаций будет 3 в 3-й степени. На мультивариантное тестирование, как правило, требуется больше времени и денег.Юзабилити-тест
– это опрос ваших пользователей. Достаточно опросить 3–4 пользователей, чтобы выявить 80 % ошибок на сайте.Теперь подробнее о каждом варианте.
АБ-тест
– один набор элементов сайта дает вам один вариант для теста. Это прекрасная вещь для проверки простых гипотез.Например, несколько разных студий нарисовали вам несколько дизайнов. Вам нужно посмотреть, какой вариант конвертирует лучше, или сравнить, как в примере, какой фон будет работать лучше – черный или белый, какой больше понравится посетителям и вызовет больше доверия.