E-mail маркетинг для интернет‑магазина. Инструкция по внедрению

Впрочем, иногда в тестировании можно задействовать и 100 % базы, если речь идет не о проверке какого-то текущего параметра (темы письма или призыва к действию), а чего-то более общего (цвета/размера кнопок и прочих элементов дизайна).

• Прежде чем разослать лучший вариант по всей базе, выдерживайте паузу не менее 3 часов (еще лучше – 24).

Статистика рассылок со временем меняется, и нередко вариант, лидирующий по истечении первого часа, оказывается далеко не лучшим в итоговом зачете.

Преимущества параллельного тестирования:

• Быстрота (за одну рассылку можно перебрать сразу несколько вариантов, а не уделять каждому отдельную кампанию).

• Точность (результаты можно трактовать однозначно – если достаточная часть базы отреагировала на письмо наилучшим образом, то это действительно самый эффективный вариант).

Но при каких-либо серьезных тестах (например, когда тестируется не тема письма, а формат подачи товаров) лучше все-таки повторять их несколько раз и усреднять результаты для большей достоверности.

Недостатки:

• База должна быть достаточно велика (более 1000 подписчиков).

К примеру, для простого А/Б-теста с минимальным количеством подписчиков в тестовых группах (по 250) понадобится размер выборки А+Б=250+250=500 подписчиков. Если выборка составляет 10 % от базы (идеальный вариант), то вся база должна включать не менее 5000 подписчиков (на практике можно начинать сплит-тесты уже с 1000 подписчиков).

Для многовариантного тестирования база должна быть еще больше. Если тестируется 4 варианта, то размер выборки составляет 250 × 4=1000 подписчиков. Тогда в идеальном случае база должна быть не менее 10 000 подписчиков (не меньше 2000 в не идеальном случае).

• Нужны дополнительные технические средства.

Для параллельных тестов необходим соответствующий функционал. Как правило, в рассылочных сервисах он представлен, но в разной степени. Не все сервисы поддерживают возможность многовариантного тестирования. Некоторые ограничиваются простыми А/Б-тестами по ограниченному набору параметров (имя отправителя, тема письма, время отправки).

Конечно, можно проводить тестирование отчасти вручную – формировать тестовые группы самостоятельно (при помощи программиста или специального приложения), но в таком случае трудоемкость задачи повышается.

Инструментарий

Как уже было замечено выше, для последовательных тестов не нужно никакого вспомогательного функционала. Для параллельного тестирования такой функционал необходим.

В рассылочных сервисах – это возможность сплит-тестирования. В самом общем виде она позволяет устанавливать объем тестовой выборки, менять в письмах отдельные параметры, а также определять механизм выбора победителя: автоматически (по уровню просмотров или кликов) или вручную (на основе самостоятельной оценки всех показателей эффективности в комплексе):

Для тестов за пределами рассылочного сервиса готового функционала нет.

Например, чтобы протестировать нотификации, которые обычно отправляются через CMS, понадобятся либо последовательный подход, либо какой-то «самописный» функционал для параллельного тестирования.

Для проверки содержания сайта (форм или страниц подписки) можно использовать готовое решение – «Эксперименты» в Гугл Аналитикс. Пользоваться им достаточно просто, и помощь IT-специалиста не понадобится.

Статистика тестов

В целом ведение статистики для тестов мало отличается от статистики простых рассылок. Измеряются все те же величины (информация о доставке, показатели эффективности, заказы).

Однако при анализе упор делается на один-два ключевых показателя, повышение которых и было целью тестирования.

Например, при работе с темой письма пристальное внимание следует обращать на коэффициент просмотров (Кпр). При оптимизации содержания – на коэффициент кликов (Ккл).

Для удобства также нужно делать пометки о тестах в таблице статистики. Можно использовать для этого Примечание, а можно завести отдельный столбец:

Так результаты каждого тестирования наглядно сопоставляются по всем важным показателям.

Тесты в рассылках

Подковавшись в основах тестирования, переходим к практике – что именно и как нужно проверять в разных письмах.

Регулярная массовая рассылка

Массовая рассылка – пожалуй, самое благодатное и обширное поле для экспериментов. Письма отправляются часто и помногу, обычно в этом участвует рассылочный сервис. То есть в наличии вся необходимая статистика, а также функционал для сплит-тестирования. Мы можем проводить как последовательные, так и параллельные тесты и получать при этом ощутимые результаты.

В массовой рассылке тестируем:

• Имя отправителя

Первое, что подлежит проверке и сказывается на уровне просмотров, – это имя отправителя (отображается в почтовых клиентах слева, в поле «От кого»):

Варианты для тестирования имени:

• Русское/англоязычное (Интернет-магазин/Internet-Shop).