Select Page

После завершения теста необходимо выполнить анализ результатов, учитывая уровень достоверности, процентное увеличение, прямое и скрытое влияние на другие элементы и т. Рассмотрев эту информацию, если тестирование прошло успешно, можно внедрять выигрышную версию. Если не удалось получить однозначный вариант, лучше еще раз проанализировать данные и применить их в других тестах. На данный момент аналитики нашей компании пользуются собственной системой A/B тестирования, которая реализована с использованием кук.

В классической версии берут все воронки продаж и делают их новые вариации, которые, предположительно, должны быть лучше, а после этого, они тестируются. Еще с помощью вышеназванной формы эксперимента можно проверить влияние на конверсию добавления и удаления таких составляющих, как отзывы или знаки безопасности. При этом вы перебираете комбинации элементов, однако дизайн страницы остается неизменным. Для тестирования дизайна целиком следует применять A/B- или A/B/n-тесты. Мультивариативное тестирование помогает лишь улучшать необходимые элементы, поэтому обычно используется не в качестве самостоятельного инструмента, а как дополнение к сплит-тестам.

Пример тому — CMS Тильда, tilda.cc, работающая через Гугл Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б-тестов. Или сервис Roistat c отдельной опцией сплит-тестирования юзабилити сайта. Собственные сервисы предлагают также платформы для размещения рекламы Яндекс.Директ, где эта опцию включается в основной функционал для тестирования разных вариантов объявлений. Аудиторию делят на две группы (A и B), каждая из которых видит свою версию тестируемой страницы.

«Мультивариантное тестирование выступает против традиционных научных представлений. MVT — это процесс тестирования более одного компонента веб-сайта в реальной обстановке (контексте). По существу, это несколько A/B/n-тестов, запущенных одновременно на одной странице». Например, маркетинговая команда предлагает four варианта нового дизайна сайта и не может договориться, какой лучше.

В таком случае, лучше убирать заведомо неподходящие варианты и сократить количество веток. Например, стоит убрать варианты, которые не подходят по бизнес-требованиям, плохо влияют на пользовательское поведение, негативно влияют на скорость загрузки страницы и т. Стоит оставлять только те варианты, которые наиболее жизнеспособны и которые вы точно встроите в продукт, если они выиграют. Увеличивается вероятность того, что вы сделаете неверные выводы, а именно, задетектируете статистически значимое изменение там, где его на самом деле нет (ошибка первого рода).

Проверяет все сочетания с одинаковым количеством трафика. Статистически точный метод, но требует огромного трафика. Клэр Во (Claire Vo), сооснователь Experiment Engine, также утверждает, что MVT-тесты сложнее из-за дополнительного трафика и ресурсов, требующихся для них. Однако всегда остается место и для мультивариантных тестов (MVT), которые могут существенно увеличить ваши показатели и добавить ценности продукту. Но перед тем, как вдаваться в нюансы, кратко рассмотрим различия между подходами.

Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще. Лендинг плохо работает, email- и push-рассылки не дают результата. Угадывание — риск потерять время, деньги и потенциальных клиентов.

Система Roistat автоматически поделит аудиторию между тестируемыми вариантами и после завершения теста выберет самую успешную версию кнопки. В нем проводят эксперименты с различными вариантами страниц и рекламных объявлений. Цели A/B-тестирования заключаются в поиске эффективной версии страницы, интерфейса или рекламного объявления, которая даст наибольшую конверсию или иные целевые показатели. UX является сложным для понимания предметом, поэтому предусмотрительные дизайнеры и маркетологи должны приложить все усилия, чтобы изучить его с как можно большего количества ракурсов. Второй пример изменений с минимальным риском – внедрение новой функции. Перед тем, как вводить ее в продукт, функцию можно прогнать как А/В тест в скопированной версии веб-сайта, что поможет увидеть результат наперед.

Mvt Тестирование: Преимущества И Недостатки

По ходу обновления сайта лучше тестировать другие веб-элементы, дабы быть уверенным в том, что посетители получат самую интересную и правильно оформленную версию. Делается это с целью проверить потенциальные возможности оптимизации ресурса в сравнении с начальной версией сайта. К примеру, данный метод можно применить для исследования влияния цветов, размеров и местоположения элементов ресурса на его конверсию. 1) Применять эти поправки стоит только в случае необходимости. Например, когда вам критически важно строго ограничить групповую вероятность ошибки. Допустим, если вы проводите тест в ключевом продукте и вам очень важно не уронить прибыль новыми изменениями в будущем.

Такие действия будут очень продуктивными в случае, когда модификации влияют на информацию о клиенте или на воронку продаж. Используя А/В тестирование, можно постепенно получить обновленную, немного измененную веб-страницу, а не делать ее заново. Это может привести к снижению риска поставить под угрозу настоящие статистические данные конверсии. Слева мы видим P-value в рамках А/А-теста, а справа трафик делился на четыре ветки, проводится  А/А/n тест. В левом варианте вероятность того, что выиграет первый вариант, равна вероятности второго (равномерное распределение), то есть эти варианты равнозначны друг другу (что логично, так как пользователи видят одно и то же). В правом варианте мы сплитуем пользователей на 4 ветки и видим, что распределение P-value уже не равномерное и мы с бОльшей вероятностью будет детектировать статистически значимую разницу там, где ее на самом деле нет.

Когда стоит использовать MVT-тест

2) Не использовать поправки как альтернативу проверке на сплитование ключевых групп. В новой же системе есть возможность распределить трафик в любой пропорции и протестировать любые фичи до того, как новый UI будет доступен для всего трафика. Еще один плюс в том, что теперь у нас будет единая система для тестирования веб- и мобильного приложения, а приятным бонусом является возможность получить консультацию коллег из EXPF.

Введите В Свою Практику Тестирование Юзабилити

Большинство маркетологов обычно начинают работу с А/В-тестов, потому что с ними возможны быстрые и значительные успехи. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько mvt тестирование равных. Результаты будут значимыми только при достаточном трафике для каждого варианта. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

  • В этом помогут такие методы, как дробный факторный эксперимент.
  • Хотя этот метод имеет свои ограничения, они уравновешиваются преимуществами, которые трудно достигнуть с помощью A/B-тестирования.
  • Поэтому при расчете выборки учитывайте основные характеристики аудитории — пол, возраст, регион проживания.
  • Цена сервиса A/B-тестирования зависит от количества выполненных вами тестов.
  • Ниже приводятся несколько различных методов, которые можно использовать для проверки качества UX вашего сайта.

При таком раскладе аудиторию программы следует поделить на две или более группы. Каждая из них увидит определенную страницу, или ее детали, совершенно по-разному. Одна представит начальную версию, а вторая – обновленную. Подробнее изучить такое решение можно в статье от коллег из Х5. Тем не менее, с введением новой системы у нас появляются некоторые риски, которые могут негативно повлиять на результат эксперимента при его неправильном проведении. Хочется пояснить, что все примеры, описанные в статье, носят исключительно демонстративный характер.

Изображение и видео продукта представляют собой два варианта визуального представления переменной; подписи «Добавить в корзину» и «Купить сейчас» — это варианты призыва к действию. Сервис предлагает 3 стандартных цели, а также подгружает https://deveducation.com/ цели, настроенные в Гугл Аналитике. Можно выбрать одну основную и до трех дополнительных целей, чтобы получить больше информации для анализа по результатам эксперимента. По умолчанию трафик между вариантами распределяется поровну.

Конечно, это не относится к случаям, когда тестирование должно выявить наиболее удачный рекламный креатив или визуальный контент. В таком случае основной целевой аудиторией исследования как раз являются пользователи, увидевшие ваши разные объявления. Omniconvert — сервис, который ориентирован на малые и средние предприятия. Инструмент A/B-тестирования Explore предлагает функции локальной сегментации и персонализации.

В приведенном выше примере комбинация 5 состоит из варианта B секции «Текст» и контрольных вариантов секций «Цвет кнопки» и «Цвет текста». Рост числа конверсий, который был отмечен в данной комбинации, представляет влияние отображения варианта секции «Текст» без внесения любых других изменений в опыт. Напротив, если вы используете МВТ, вы, как правило, сможете определить значимость одного конкретного варианта или комбинации вариантов. Таким образом, вы сможете, например, узнать, что видео продукта значительно увеличивает конверсию по сравнению с изменением подписи кнопки. Это может дать вам дальнейшую стратегию и понимание дизайна (например, что стоит инвестировать в создание хороших видеороликов).

Как только вы найдёте более эффективный дизайн, используйте многовариантные тесты для дальнейшего улучшения определённых элементов победившем макете. Даже если вы добьетесь статистически значимых результатов, всё равно стоит вносить изменения на сайт постепенно. Это связано с тем, что перемены часто имеют неожиданные последствия. Например, версия Б может побудить посетителей совершать покупки чаще, но при этом снизится средняя сумма чека. Необходимо перепроверить статистику еще раз и лишь потом считать эксперимент законченным. Выбранный сервис A/B-тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности.

Вы можете довольно существенно снизить необходимость в посетителях, если используете дробный факторный подход вместо полнофакторного, но так вы увидите только часть общей интеракционной картины. Процесс усложняется довольно быстро, если вы изучаете различные методы проектирования. «Мультивариантное тестирование — это акцент на мелких элементах, слабо влияющих на остальные или не влияющих вовсе. Вместо этого маркетологи должны сосредоточиться на ведении программных и динамичных сплит-тестов, позволяющих получить сегментированный опыт нескольких целевых групп по всему сайту.

Представьте блок на странице, в котором есть несколько предложений финансовых продуктов (офферов). И, например, мы хотим понять, сколько именно офферов вам нужно отрисовать в этом блоке, чтобы добиться максимальной конверсии. Тестирование новой платформы показало, что новая механика работает корректнее.

Когда стоит использовать MVT-тест

Чем больше вариантов, тем выше риск случайных кликов, когда пользователь производит целевое действие благодаря дополнительным факторам, а не под влиянием тестируемых элементов. К недостаткам MVT-тестирования можно отнести сложную настройку, которая занимает много времени. Еще одна проблема – для получения достоверных результатов этого теста требуется большой объем трафика.

Если вам необходимо измерить 20 взаимодействий, а коэффициент обнаружения ложных срабатываний составляет 5%, то вы будете ожидать около одного взаимодействия, которое обнаружится случайно. «Другой подход к сокращению потребности в посетителях при мультивариантном тесте — исследовать меньше взаимодействий (например, только двухсторонние взаимодействия). В этом помогут такие методы, как дробный факторный эксперимент.