Временной таргетинг эксперимента: используйте этот параметр для автоматического запуска или приостановки испытаний на конкретные даты. Задавайте дату или число, к которому/после которого вы хотите начать эксперимент. В нашем случае, этот параметр не указываем.
Процентное распределение показов: по умолчанию установлено 50 на 50. Не меняем этот показатель для нашего эксперимента.
Шаг 6. IT-отделу (программистам сайта) ставим задачу по размещению кода Visual Website Optimizer на всех страницах сайта. Код размещается один раз, и позволяет проводить все типы экспериментов без повторного размещения кодов и повторного привлечения IT.
Шаг 7. Начало эксперимента
Перед началом эксперимента система позволяет посмотреть, как будет выглядеть тест в режиме предварительного просмотра. Также можно сгенерировать ссылку эксперимента, по которой можно увидеть работу теста. Автоматически строятся скриншоты по экспериментальным и исходным вариантам.
Шаг 8. Анализ результатов
Анализ эксперимента мы проводим в интерфейсе GA. Это очень удобно, т.к. вся аналитика по проекту уже настроена в Google Analytics, и мы можем использовать «Расширенные сегменты».
Выводы:
Основным достоинством Visual Website Optimizer является возможность провести эксперимент с минимальным участием программистов сайта или IT-отдела заказчика, что значительно сокращает время на внедрение эксперимента.
Расширенная функциональность системы позволяет реализовать фактически любой сценарий тестирования.
Самым весомым недостатком Visual Website Optimizer является ценообразование. Вы можете получить бесплатную 30-дневную пробную версию, но помимо этого минимальная стоимость использования системы составляет около $ 50 в месяц.
12.2.3 Тестируем две версии дизайна сайта в A/B тесте
Задача 3: Необходимо провести A/B эксперимент между новой и старой версией сайта и проанализировать улучшение целевых показателей.
Пояснение
Мы не можем использовать предложенные ранее варианты тестирования, т.к. содержание сайта, как и основной URL может быть совершенно разными в двух версиях сайта.
Фактически задача тестирования сводится к разработке скрипта, который будет распределять трафик сайта 50/50 и записывать результат деления в cookies. Пользователю в зависимости от cookies будет показываться один или второй вариант сайта.
Задача анализа результатов решается с помощью Google Analytics. В каждом из вариантов сайта необходимо присвоить пользовательское значение, например:
Видят старую версию сайта:
_gaq.push(['_setCustomVar',
5,
'experiment',
'Old version', //вариант, который видит пользователь
1
]);
Видят новую версию сайта:
_gaq.push(['_setCustomVar',
5,
'experiment',
'NEW version', //вариант, который видит пользователь
1
]);
Задача подсчета статистически значимых результатов проводится с помощью файла Excel, вручную.
Пример скрипта php, который делит аудиторию сайта 50/50.