Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу. A/B-тестирование помогает принимать решения в компаниях, которые ориентированы на конкретные данные. Как правило, результаты тестов играют важную роль, когда принимают решение изменить дизайн нового продукта или параметры бизнес-стратегии. К примеру, по результатам А/В-теста фактический коэффициент конверсии вырос на 1%, как мы и предполагали в гипотезе. В результате выбранных изменений, метрика выросла, гипотеза подтвердилась.
В реальной жизни нужно больше ресурсов, чтобы проверить, какое решение будет лучше для бизнеса. Метод подходит, когда продукт локальный и требуется протестировать большие изменения бизнес-модели, или попробовать совершенно новый продукт. Например, беспилотное такси, которое тестирует Яндекс в одном из районов Москвы.
Как провести тестирование?
Но достоверность такого эксперимента будет иметь заметные погрешности. Перед проведением А/B-теста аудитории разберитесь, какие пользователи будут участвовать в его проведении. Их нужно разбить на группы, a/b тестирование например, по возрасту, полу, городу проживания и так далее. Затем определите объем выборки, длительность и желаемый уровень значимости теста. Последний пункт в большинстве случаев должен составлять 95%.
А на условной Ламоде описание товаров оформлено в виде списка с использованием двух разных стилей (для характеристики и ее описания). При наличии отдельного сегмента целевой аудитории, с которым вы взаимодействуете через почтовую рассылку, стоит особое внимание уделить темам (subject) письма. Это важный аспект, который зачастую является решающим в вопросе, откроют ли ваше письмо. Невозможно затронуть каждый сегмент своей целевой аудитории, используя исключительно SEO-тексты. Это может быть подкаст, видеоролик, какая-то наглядная инфографика и т.п. Если еще задаетесь вопросом, нужно ли вам A/B-тестирование, то спросите себя, должен ли ваш сайт приносить больше прибыли.
Как долго проводить А/Б тесты?
Выборки двух параллельных тестов не должны смешиваться. В противном случае одно изменение может повлиять на восприятие второго. Если у вас больше двух вариантов, можно провести мультивариантное тестирование. Тестировать можно дизайн лендинга, цвет и расположение кнопки call to action, форму регистрации, оформление email-рассылки, текст объявления на сайте и другие изменения. Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных.
В это время другой отдел запустил рекламную кампанию на продвижение определенного продукта каталога, и на сайт пришло много пользователей. Они хотят купить сейчас и совершенно не интересуются подпиской, поэтому могут исказить результаты эксперимента. Если отслеживать метрики, которые не влияют на коммерческие показатели, можно принять неправильное решение. Лучше выбирать показатели, которые влияют на выручку и прибыль, — например, коэффициент конверсии. Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки. Аналитика часто дает представление о том, что вы можете попробовать усовершенствовать.
Как устроено A/B-тестирование? Теория, инструменты и инструкция к применению
После этого воспользоваться одним из специальных сервисов. Оценку итогов можно проводить через две недели после запуска теста или дольше, если тест опирается на небольшой объем данных. А/Б-тест простыми словами — это маркетинговый метод, с помощью которого оценивают эффективность ресурса или рекламной кампании в Интернете.
- Определить размер выборки можно калькулятором Эвана Миллера, а длительность теста — калькулятором VWO.
- Тогда для тестирования собирают команду, состоящую как минимум из аналитика и разработчика.
- Важно учесть все метрики, на которые может повлиять эксперимент.
- Разберем проведение A/B-тестирования на примере классического сплит-теста, так как две другие разновидности выполняются в целом по тому же алгоритму действий.
- Это, в свою очередь, поможет собрать информацию для следующих тестов.
Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование. Подобный тест могут использовать маркетологи, продакт-менеджеры, веб-мастера, продуктовые дизайнеры. Проведение эксперимента позволит получить объективные сведения о различных методах улучшения текущей версии любого онлайн-продукта. Полученная объективная информация в Яндекс.Метрике или Google Analytics дает возможность перенастроить страницу и быстрее продвигаться на рынке.
Не проводите A/B-тестирование незначительных изменений
Она даст вам точное понимание того, что делает посетитель на конкретной странице сайта, что привлекает его внимание, а что не нравится или вводит его в заблуждение. Поэтому А/В-тестирование заголовка увеличит ваши шансы на то, что вы найдете тот вариант, который заставит людей чаще открывать ваши письма. Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг. Если он сразу же не привлечет внимания посетителей, они не станут тратить время, читая, что написано ниже. Ваш фаворит – это маркетинговый актив (веб-страница, email, рекламное объявление на Facebook и пр.), который уже показал хорошие результаты или же вы ожидаете от него таковых. В свою очередь, сплит-тестирование (split-testing) предполагает сравнение двух совершенно разных исходных.
Есть бесплатные калькуляторы расчёта выборки, можно ими воспользоваться, например, Майндбокс. Чаще всего бизнес беспокоит отток клиентов на каком-то этапе воронки продаж. Если p-value больше 0.05, значит выявить явного победителя среди вариаций в рамках теста не удалось. Чтобы найти ответы на эти вопросы, используйте Google Analytics для отслеживания трафика, реферальных источников и другой ценной информации. В то время как заглавное фото на лендинге и то, что на нем изображено может оказать значительный эффект на уровень конверсии. Также в гипотезе важно выделять, какой показатель должен измениться.
А/В-тестирование в Яндекс Метрике
Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех вариантов тестируемых страниц. Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. В норме достоверность должна составлять более 95 %. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит. Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой.
Собирайте данные
Корпоративные клиенты сервиса — застройщики и риелторские агентства, и часть из них увидели новые тарифы во время A/B-теста. Вскоре недоумевающие пользователи звонят в отдел по работе с корпоративными клиентами, чтобы узнать о новых тарифах и почему они не видят их на сайте. Такая ситуация может снизить доверие клиентов к продукту, а еще исказить результаты самого теста . Продакт-менеджеры, в основном, используют A/B-тестирование для улучшения метрик продукта.