MVP. Как выводить на рынок товары и услуги, которые нравятся покупателям

Компания Netflix славится своей приверженностью A/B-тестированию, причем как на маркетинговом, так и на продуктовом направлениях. В ответ на вопрос «Для каких функций, помимо процедуры регистрации, Netflix проводит A/B-тестирование?», заданный на веб-сайте Quora, директор по продуктам Netflix Нил Хант ответил: «Если коротко, то почти для всех». Далее он рассказал, что Netflix проводит сравнительное тестирование различных вариантов пользовательского интерфейса, алгоритмов рекомендаций, расположения и размеров кнопок, времени загрузки страниц и уровней качества кодирования потокового видео. Свой ответ Хант завершил словами:

«Мы очень гордимся своей ориентацией на эмпирические данные, потому что это говорит о нашей скромности – мы отдаем себе отчет в том, что в большинстве случаев не знаем заранее о том, чего на самом деле захотят клиенты. Отзывы, полученные в результате тестирования, быстро наводят нас на правильные мысли и помогают убедиться, что наши усилия действительно направлены на оптимизацию того, что положительно влияет на качество предлагаемых клиентам продуктов».

A/B-тестирование – это все, что нам нужно?

Метод A/B-тестирования – это основной инструмент для формирования решений в отношении продукта, основанных на фактических данных. Эти данные отражают поведение большого числа пользователей, поэтому в данном случае не возникает риска расхождения между тем, что говорят участники тестирования, и тем, что они реально делают. В этот момент вы не сидите с ними рядом, поэтому не должно быть никаких опасений по поводу того, что присутствие модератора может повлиять на результаты теста. Конечно, разработчики не должны полагаться исключительно на количественные исследования – не стоит забывать и об Опре. Во многих случаях количественное тестирование должно быть дополнено качественным исследованием, способным объяснить причины, стоящие за поведением пользователей.

Команды, которые в процессе разработки достигли такого уровня, когда они могут насладиться процессом быстрого итеративного A/B-тестирования, прошли до этого момента долгий путь, принимая решения в условиях недостатка точных данных. Некоторые разработчики могут поддаться соблазну пропустить этап качественных исследований и сразу перейти к A/B-тестированию своего кандидата в MVP на соответствие рынку. Но такой подход почти наверняка приведет к напрасному расходованию ресурсов и провалу. В этом случае проведенное A/B-тестирование, скорее всего, закончится достижением низкого локального максимума, на котором они и застрянут в значительном отдалении от соответствия рынку.

Давайте вернемся к пирамиде соответствия продукта рынку, снова показанной на Рисунке 14.7. Гипотезы, которые вы выдвигаете на одном слое, влияют на все слои, находящиеся выше. Гипотезы, относящиеся к уровню пользовательского опыта, являются наименее затратными для внесения изменений. Изменение набора функций продукта также возможно, но потребует уже больших усилий. Что же касается основополагающих элементов соответствия продукта рынку – представление о целевых клиентах, их недостаточно удовлетворенных потребностях, а также ценностное предложение, – то их будет очень сложно изменить после того, как вы создадите свой продукт. Как только вы сформулируете свои гипотезы, соответствующие этим слоям пирамиды, они становятся похожи на взаимосвязанные тектонические плиты. Если вы сдвинете хотя бы одну из них после завершения разработки, созданный вами продукт в значительной мере утратит свою актуальность и устойчивость – эффект будет подобен тому, как землетрясение превращает здание в руины. Когда это происходит, человеческая природа заставляет нас стремиться к сохранению и повторному использованию как можно большей части результатов уже проделанной работы. Но это может добавить обременительные ограничения в пространство решений, что еще больше осложняет ситуацию в условиях, когда изменение гипотез происходит в пространстве проблем. В таких случаях бывает проще начать строительство с нуля, уже на новом фундаменте.

Рисунок 14.7. Пирамида соответствия продукта рынку