Содержание:
Для сравнения двух версий сайта (обозначаются как А и В) создана новая вкладка «Эксперименты», или А/В-тест. С ее помощью можно не только проверить свои предположения и ожидания, но и понять, что предпочитают посетители вашего ресурса. И уже после этого решить, какая из версий лучше.
В процессе тестирования создаются нулевая и альтернативная гипотезы. Первая основана на том, что версии А и В не имеют различий или же что А лучше В. Вторая — что В выигрышно отличается от А. Наша задача состоит в том, чтобы сделать вывод об истинности альтернативной гипотезы.
До создания вкладки «Эксперименты» процесс сравнения протекал дольше и был более трудоемким: приходилось создавать и тестировать версии А и В вручную или же в Google Optimize.
В чем могут помочь А/В-тесты?
Итак, А/В-тесты нужны для:
- проверки гипотезы. Можно в течение продолжительного времени менять дизайн на сайте, чтобы добиться продаж, но так ни к чему и не прийти. А благодаря А/В тестам проверка гипотезы займет гораздо меньше времени и не придется тратить рабочие часы на редизайн.
- проверки экспертизы. А-В-тесты дают возможность проверить верность утверждений и подсказок по работе от штатного эксперта, опираясь не только на свой опыт, но и на результаты тестирования.
- знакомства с аудиторией. С помощью А-В-тестов можно узнать предпочтения своей аудитории и в дальнейшем использовать эту информацию для создания проектов.
«Эксперименты» от Яндекс Метрики дают возможность тестировать различные элементы сайта: кнопки, формы обратной связи, фото и описание товаров, а также многое другое.
Как пользоваться вкладкой «Эксперименты»
Перед тестированием подключите к своему сайту Яндекс.Метрику. Платить за это не придется. Механизм подключения будет различаться в зависимости от способа создания ресурса.
Если вы ранее не пользовались вкладкой «Эксперименты», то напротив нее высветится фиолетовая плашка — переходите.
Затем с помощью желтой кнопки скопируйте код из окошка на свой сайт.
Если ваш ресурс создан с помощью конструктора Tilda, то доступа к коду у вас нет, и этот шаг можно пропустить. В другом случае код нужно установить в раздел
— все будет зависеть от CMS.
Для создания эксперимента нажмите желтую кнопку с одноименным названием, а затем интуитивно настройте его, заполнив название и описание, а также выставив условия.
Далее перейдите к заполнению нескольких других условий. В поле для URL-фильтра внесите информацию только в том случае, если эксперимент будет проводиться не на всех страницах ресурса.
Затем укажите метрику, на основе которой будет происходить оценка версий.
Выберите тип эксперимента (способ внесения изменений в версию В). Для простоты советуем выбрать «Визуальный редактор». Он встроится в ваш ресурс, что поможет изменять внешний вид элементов в реальном времени. После того как вы сохраните изменения и запустите эксперимент, правки станут видны посетителям сайта.
А — изначальный вариант сайта, В — вариант с изменениями. Не забудьте проверить внесение изменений с помощью блока «Проверка эксперимента» и нажатия кнопки «Проверить».
Теперь, когда все готово, нужно подождать некоторое время, чтобы получить отчет об эксперименте.
Анализ данных эксперимента
На представленном графике видно, как версии А и В вели себя в разные даты.
Под ним будут расположены цифры по метрикам, выбранным вами для отслеживания — обратите внимание на три первые колонки. Зеленым подсвечены лучшие показатели, благодаря которым можно понять, какая версия выигрывает.
Также в отчете есть дополнительные метрики. Рассмотрим их, опираясь на справку:
- Дельта — разница между значениями метрики в вариантах А и В.
- Дельта (%) — дельта, выраженная как процент от значения метрики в варианте А.
- Доверительный интервал — изображение с доверительными интервалами для вариантов А и В на числовой оси.
- P-value — вероятность получения таких же или более экстремальных результатов в предположении, что значение метрики не изменилось.
Для принятия гипотезы нужно сравнить P-value с уровнем значимости: P-value <= alpha (по умолчанию alpha=0,05). Этот показатель задает вероятность ошибок первого рода. Если же сильно занизить alpha, то вероятность ошибок второго рода возрастет и увеличится MDE (%, minimum detectable effect) — минимальное изменение метрики, которое можно заметить при таком количестве данных с alpha=0,05 и beta=0,2. Для уменьшения этой величины можно увеличить длительность эксперимента.
Если вы хотите углубиться в тему подключения «Экспериментов» и чтения отчетов, воспользуйтесь Справкой Яндекса.
