Что такое А/Б тестирование простыми словами

Что такое А/Б тестирование простыми словами

A/Б-тестирование для новичков: что это такое и как его настроить

Маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются.

Внимание, эта статья не для маркетологов — она для людей, которые делают классный продукт и с помощью лендинга хотят найти новых клиентов. Мы постарались максимально просто рассказать об А/Б тестировании, избежав нагромождения цифр и терминов.

Что такое А/Б тестирование

Это метод. Тест. С его помощью выясняется, как небольшие изменения в дизайне или подаче коммерческих предложений влияют на поведение людей на сайте.

Допустим, вы делаете лендинг, в котором отличаются некоторые элементы: например, цвет фона. Запускаете рекламу и разделяете входящий трафик на два потока: половина посетителей попадает на лендинг с синим фоном, а вторая половина на лендинг с красным фоном. Через некоторое время анализируете результаты и видите, что красный фон приносит больше заявок, чем синий. Оставляете его.

Маркетологи также называют этот метод сплит-тестирование, от английского слова split — раздельный.

Зачем нужно А/Б тестирование

А/Б тестирование проводят, когда хотят проверить предположение. Например:

  • Люди будут оставлять больше заявок на участие в мастер-классе, если я подробнее расскажу о себе.
  • Больше посетителей подпишется на рассылку, если я перенесу кнопку из середины лендинга на главный экран.
  • Люди дольше задержатся на сайте, если я изменю цвет фона на более нейтральный.
  • Количество покупок увеличится на 5%, если я изменю подачу коммерческого предложения.

Выбираете гипотезу, которую хотите проверить первой, тестируете ее и по результатам определяете — стоит ли вносить изменения на сайт.

А/Б тест на практике помогает определить, насколько ваша идея проверяется реальностью.

Целесообразно проводить эксперимент, если к вам на сайт заходит хотя бы 5000 человек в месяц. Если меньше — придется потратить много времени, чтобы накопить необходимую статистику.

Как часто проводят и сколько времени это занимает

Нет какого-то особенного графика для проведения А/Б тестов — вы запускаете эксперимент, когда появляется интересная гипотеза. Больше гипотез — больше тестов.

Время проведения зависит от идеи. Если вы внесли микро-изменение: поменяли цвет кнопки или загрузили новое изображение — может понадобиться два-три месяца, чтобы понять какой вариант лучше. Если изменения глобальные — уже через пару недель станет понятно, какой лендинг больше зашел.

Время проведения рассчитывают на специальном калькуляторе — он помогает определить период, за который наберется достаточное количество людей для статистики.

Калькулятор определяет, сколько людей должно поучаствовать в тесте, а дальше уже нехитрыми вычислениями можно прикинуть, сколько времени это займет.

A/B-тестирование

А/В-тестирование – это маркетинговый инструмент, с помощью которого можно повысить эффективность работы сайта. Его также называют сплит-тестированием (Split Testing). Данный метод предназначен для улучшения конверсии, средней величины чека, времени пребывания на сайте, снижения процента отказов и т. д.

Суть А/В-тестирования заключается в сравнении контрольной страницы А (оригинал) и ее созданного аналога В (новая страница) с внесенными изменениями. Весь трафик делится между страницами А и В. Затем сравниваются основные показатели. Если новая версия оправдала ожидания и, например, конверсия увеличилась, тогда весь трафик направляют на страницу В.

В дальнейшем, когда будут тестироваться новые изменения, улучшенная версия будет выступать в роли контрольной страницы А.

При работе со сплит-тестированием важно грамотно оценивать метрики контрольной и новой страниц, а также правильно распределять трафик (не всегда его нужно делить 50 на 50). Кроме того, для корректной работы нужно исключить влияние сегментов друг на друга, снизить воздействие внешних и внутренних факторов. Тестирование необходимо проводить параллельно и в одинаковых условиях.

А/В-тестирование не всегда используется для улучшения посадочных страниц сайта. Его возможности позволяют провести тесты и в других местах.

Как провести А/В-тестирование

Рассмотрим пример. Пользователю необходимо повысить конверсию посадочной страницы, трафик на которую идет через контекстную рекламу. Сейчас данный показатель составляет 2,5 %. Чтобы добиться увеличения, пользователь хочет изменить дизайн страницы. Он создает новую страницу В и ведет туда часть трафика. В результате на странице с новым дизайном конверсия выросла до 3 % вместо планируемых 4 %. Чтобы увеличить конверсию еще больше, можно изменить текст на странице, например придумать новый призыв к действию. Теперь в роли контрольной страницы А будет выступать страница с новым дизайном. В данном примере аналогичным образом можно попробовать изменить сами объявления КР (заголовки, тексты и т. д.), поработать над их релевантностью, так как основной трафик поступает именно оттуда. При использовании А/В-тестирования важно получить объективные данные и статистику.

Что тестировать

А/В-тестирование – это прикладной метод. Он влияет на различные метрики, поэтому выбирать, что менять, нужно на основании поставленных целей и задач.

Чаще всего тестируются следующие компоненты страниц.

  • Заголовки. Шрифт, цвет, расположение, содержание, их количество – все это влияет на удержание и привлечение внимания посетителя сайта. Порой одно лишь изменение шрифта заголовка помогает улучшить внешний вид всей страницы.
  • Текст. Аналогично заголовкам. Текст должен быть читабельным и визуально приятным. Количество текста, его шрифт, цвет, расположение – все это имеет не меньшее значение, чем само содержание.
  • Кнопки. Как правило, кнопки являются главным элементом, который привлекает внимание пользователей. Поэтому изменение внешнего вида, их расположение, оформление могут изменить показатели в лучшую сторону.
  • Изображения. Используйте качественные и красивые изображения. Не важно, будь то фото товара или фоновая картинка лендинга. Даже мельчайший сдвиг картинки может полностью изменить визуальное восприятие.
  • Дизайн страницы. Плохой дизайн зачастую оказывается тем фактором, который способствует большому числу отказов. Тестируйте новые макеты, шаблоны как всего сайта, так и его отдельных элементов. Ищите наиболее продуктивный вариант.
  • Бизнес-предложения и цены. Тестировать можно не только внешний вид страницы. Создать новое бизнес-предложение иногда бывает эффективнее, чем кропотливо менять дизайн, тексты, кнопки и месяцами добиваться улучшения конверсии.

Это лишь наиболее часто тестирующиеся компоненты. На практике же изменениям подвергается все, что, по мнению руководителей, способно увеличить продажи.

Чтобы проводить сплит-тесты, маркетологи используют следующие сервисы:

Что такое А/B тестирование, зачем оно нужно и как провести

A/B-тестирование (сплит-тестирование, A/B testing, Split testing) на сайте – это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов – страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

  1. Самые посещаемые страницы сайта
  2. Страницы с дорогими визитами
  3. Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Элементы для тестирования

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

  • Выдвигается гипотеза о поведении посетителя
  • Предлагается решение по изменению элементов (лучше брать 1-2, не более)
  1. Добавить слово «Бесплатно»
  2. Разместить объясняющее видео
  3. Приклеить кнопку регистрации к верху страницы
  4. Сократить количество полей в заявке
  5. Добавить счетчик специального предложения
  6. Добавить бесплатную пробную версию
  7. Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть здесь. Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Далее вам выдаст код, который необходимо вставить после открывающего тега head в верхней части исходной страницы.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

  1. Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
  2. Трафик между страницами должен распределяться равновероятно
  3. Делая настройки, выберите новых посетителей сайта
  4. О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
  5. Делайте оценку результатов в одно время
  6. Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
  7. Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.

Автор: Самаль Татьяна, seo-специалист «КасперСистемс»

Что такое A/B test

Кто не рискует, тот не пьет шампанское, а кто не экспериментирует — со временем теряет конверсию. Сегодня поговорим о методе, который позволяет проверять гипотезы и делает эксперименты над сайтом и рекламой безопасными. A/B тестирование активно используют Google, Amazon и eBay, чтобы становиться еще популярней. Читайте о возможностях метода и как правильно проводить тесты.

АБ Тест — что это?

А/В тесты — это маркетинговый метод, который позволяет сравнить эффективность двух вариантов какой-либо переменной. Например, цветовой гаммы в оформлении лендинга, заголовков объявления, размещения CTA-элементов и т. д.

Для проведения A/B тестирования аудитория разделяется на две группы. Первой показывают вариант А, второй —вариант B, а потом выбирают результат с лучшими показателями.

Представим ситуацию: у маркетолога есть гипотеза, что при изменении цветовой гаммы лендинга на голубую конверсия повысится. Но пользователи уже привыкли к старому оформлению, и это может навредить. Чтобы проверить гипотезу, одной части посетителей показывают контрольный вариант А — существующую версию лендинга. Другой части — вариант B, в голубой цветовой гамме. Спустя две недели оказывается, что пользователи из второй группы охотней заказывают товар. Теперь компания может смело менять дизайн.

Отличительная черта A/B тестирования — то, что с его помощью сравниваются только два варианта чего-либо. Например, вы хотите добавить на главную страницу видео, изменить ее заголовок и разместить отзыв покупателя. В таком случае уже будет сравниваться конверсия разных сочетаний этих элементов. Видео + старый заголовок + отзыв, без видео + новый заголовок + без отзыва и т. д. Такой метод называется мультивариантное тестирование (MVT) .

Что может меняться на сайте:

  • заголовок и подзаголовки;
  • блоки с информацией;
  • CTA-кнопки;
  • форма регистрации;
  • ссылки;
  • формулировки;
  • изображения и видео;
  • отзывы и т. д.

Несмотря на кажущуюся простоту, A/B тестирование широко используется крупными компаниями. Так, в 2000 Google впервые провел подобный тест, чтобы выявить оптимальное количество результатов для страницы поисковой выдачи. Но даже у них во время первого теста произошел сбой из-за слишком долгой загрузки. Со временем технологии изменились, и уже в 2011 году Google успешно провел 7000+ A/B тестов.

Как проводится A/B test

  1. Сбор данных. Сначала необходимо собрать информацию о том, какие элементы нуждаются в улучшении. Например, страницы с низкой конверсией или высоким показателем отказов. В этом поможет Google Analytics или другие аналитические системы, которые отслеживают поведение пользователей. Например, Kissmetrics или К50 .
  2. Определение целей. Подумайте, по каким показателям будете оценивать, что один вариант успешней, чем другой. Это может быть что угодно: оформление заявки, подписка на рассылку, нахождение на странице дольше заданного времени.
  3. Разработка гипотезы. Сформулируйте, почему новая версия должна работать лучше, чем старая. Например, будет больше звонков от клиентов, если разместить телефон вверху главной страницы, а не мелким шрифтом в футере, как в текущей версии сайта.
  4. Создание вариантов. Внесите изменение в сайт или приложение с помощью одного из специализированных сервисов. Например, измените цвет CTA-кнопки, порядок расположения блоков с информацией, скройте или добавьте элементы навигации.
  5. Запуск эксперимента. На этом этапе посетителям вашего сайта будет случайным образом показываться или А вариант, или B. Их взаимодействия с каждым из них измеряются, подсчитываются и сравниваются.
  6. Анализ результатов. Сервис предоставляет данные, как отработали оба варианта страницы. Тут важно учитывать, является ли разница статистически значимой. Для проверки этого можно использовать специальный калькулятор .

Аналогичные тесты также можно проводить для рассылок, меняя текст приветствия или элементы оформления. Результатом может стать такой отчет:

А/В тесты: преимущества

  1. Повышение конверсии. Зная, как пользователи взаимодействуют с вашим сайтом, рассылкой или рекламой, вы можете повысить ее эффективность. Для этого не придется вносить много изменений, достаточно внедрить тот вариант, который получил лучшие результаты.
  2. Принятие решений на основе четких данных. Тестирование превращает догадки в конкретные данные. Так вы не рискуете, внося изменения, а можете гарантированно получить хороший результат. Оно позволяет строить гипотезы и лучше узнать, что положительно влияет на продвижение пользователя к целевой конверсии.
  3. Соответствие предпочтениям аудитории. Цифровой мир постоянно меняется, поэтому оставаться на одном месте невозможно. Регулярно тестируя отдачу пользователей, вы будете не слепо следовать трендам, а адаптироваться под изменение вкусов аудитории. Так ваш сайт, рассылка, реклама будут по-настоящему актуальными и эффективными.

Советы по проведению A/B тестирования

  1. Начинайте с простого. Если вы ранее не проводили подобные тесты, лучше не замахиваться на что-то серьезное. Когда вы лучше поймете, как это работает, вы сможете проводить более сложные эксперименты.
  2. Различия между версиями А и B должны быть заметными. Если вы добавите одну запятую или мелкий элемент дизайна на странице «Контакты», этого никто не заметит.
  3. Не прекращайте тест раньше времени , даже если вам кажется, что одна из версий уже «победила». Так компания Distilled специально увеличила время тестирования в два, четыре и восемь раз дольше, чем планировалось. По их мнению, только в третьем случае они приблизились к 90%-ой достоверности данных. Но это не значит, что тест должен длиться бесконечно — завершайте его, как только достигните достаточного уровня статистической значимости.
  4. Правильно определяйте цели. Например, если интернет-магазин будет фокусироваться только на конверсии по добавлениям в корзину, он получит искаженные данные. Все просто — большинство людей предпочитает звонить, а не заполнять формы или молча покупать онлайн. И это справедливо для многих ниш бизнеса . Поэтому перед выбором целей сначала анализируйте свою воронку продаж.
  5. Следите. чтобы изменения дублировались на других страницах. Например, если вы тестируете разные варианты цены, замените ее всюду на сайте.

Для проведения A/B тестирования не обязательно быть программистом. Существует множество сервисов, которые предоставляют такую возможность. Например, конструкторы сайтов, сервисы динамической подмены контента и даже Google Marketing Platform . Преимущество в том, что интерфейс понятен, а результаты предоставляются в удобном виде.

Пример результатов A/B теста в интерфейсе сервиса Optimizely

Некоторые сервисы позволяют оценить эффективность вариантам не только по онлайн-конверсиям, но и по звонкам. Так Yagla, предназначенная для динамической подмены контента, интегрирована с Ringostat . При проведении тестов эта система может учитывать, сколько звонков поступило по вариантам A и B.

Как и зачем проводить A/Б-тестирование: теоретические основы

Это первый из трех материалов об А/Б-тестировании в контексте от ведущего специалиста по рекламе Media108 Евгения Юдина. В этой статье автор рассказывает об основах проведения тестов.

На эффективность рекламы влияет большое количество факторов: текущая ситуация на рынке, деятельность конкурентов, изменение параметров рекламируемого продукта и многие другие. Это означает, что рекламная активность не может быть статична — если мы хотим достигать нужных результатов, нам необходимо постоянно отслеживать все изменения и вносить корректировки.

Кроме того, следует учитывать, что реакция разных групп пользователей на креативы тоже далеко не одинакова. Она может различаться в зависимости от конкретной ситуации получения рекламного сообщения, площадки и блока показа, наличия УТП в объявлении и т. д.

Определить наиболее эффективные объявления с учетом всех этих факторов как раз и позволяет А/Б-тестирование. При регулярном проведении оно помогает значительно улучшить результаты кампаний.

Что же такое А/Б-тестирование? Если упростить, это сравнение двух вариантов чего-либо: объявлений, посадочных страниц, стратегий и т.д. Давайте рассмотрим подробнее на примере.

  • Клиент — диспетчерская такси.
  • Цель — привлечение водителей для устройства на работу.

Ниже приведен понедельный график реализации рекламной кампании с динамикой количества обращений и CPA. Вертикальными зелеными линиями указаны этапы запуска А/Б-тестирования объявлений.

На графике четко прослеживается корреляция между этапами тестирования и изменением количества лидов и CPA. С помощью А/Б-тестирования удалось снизить стоимость заявки в 5,17 раза и увеличить количество лидов в 2,32 раза.

А/Б-тесты с точки зрения специалистов по контекстной рекламе

Специалисты по контекстной рекламе обычно определяют А/Б-тестирование как сравнение двух различных посадочных страниц или двух вариантов объявлений. Например, двух разных объявлений в рамках одной группы или двух разных посадочных страниц, между которыми случайным образом равномерно распределяется трафик на сайте.

Сам процесс проведения тестирования объявлений цикличен и, как правило, строится следующим образом:

А/Б-тестирование с точки зрения статистики

При оценке результатов A/Б-тестирования важно понимать следующее:

1. Чем больше статистики по каждому из вариантов накоплено, тем выше вероятность, что такой результат получен не случайно. Рассмотрим пример.

У нас есть два графика, отражающих вероятность распределения среднего значения относительно полученных показателей. График №1 построен для выборки из 100 элементов (например, кликов). График №2 построен для выборки из 1000 элементов. В обоих случаях полученная конверсия в целевое обращение составила 1% (вертикальная черта в центре).

Чем шире края графика, тем меньше шансов, что в будущем мы получим такое же среднее значение CR (конверсии в целевое обращение).

Площадь, заштрихованная на изображении, показывает, насколько менее вероятно в будущем получить такое же среднее значение при выборке в 100 элементов по сравнению с выборкой в 1000 элементов. Другими словами, заштрихованная область показывает, что вывод, основанный на 100 элементах, будет менее точным, нежели на 1000 элементах.

2. Чем больше разница между показателями объявлений, тем выше шансы, что показатели по ним и дальше будут отличатся.

Пример №1. Две одинаковые по размеру выборки — 1000 элементов (например, кликов) каждая. Первый график построен для CR 0,5%. Второй график — для CR 1% .

Площадь пересечения графиков довольно большая, и это не позволяет нам отклонить гипотезу о том, что в генеральной совокупности средние значения CR этих объявлений будут равны.

Пример №2. Снова одинаковые по размеру выборки — 1000 элементов каждая. Но теперь второй график построен для CR 2%. Обратите внимание на то, как сильно различается площадь пересечения графиков в первом и во втором примере. Чем меньше площадь пересечения, тем больше шансов сделать правильные выводы.

Предположим, что мы хотим сравнить наши объявления по показателю CTR. А что если я скажу вам, что CTR ваших двух объявлений в будущем будет одинаковым? Вы, в свою очередь, можете считать, что одно из объявлений будет более кликабельным. Как понять, кто из нас прав?

В этом примере цель А/Б-тестирования с точки зрения статистики — отклонить гипотезу о том, что средний CTR у наших объявлений всегда будет одинаковым. Для опровержения таких (так называемых нулевых) гипотез применяются методы статистического анализа, например, критерий Т-Стьюдента.

Выводы: при принятии решения о том, какое из объявлений лучше или хуже отработало, учитывайте объем накопленной статистики и разницу между показателями.

Для расчетов можно использовать калькуляторы A/Б-тестов, например, AB TestGuide. В нем достаточно ввести свои данные — и калькулятор скажет вам, являются ли полученные результаты статистически значимыми.

При проведении расчетов важно, чтобы соблюдались несколько критериев:

  1. Зависимая величина — показатель, по которому мы сравниваем объявления — должна быть распределена нормальным образом (см. описание на Википедии).
  2. Трафик должен распределяться случайным образом, но при этом равномерно между объявлениями внутри группы.

В Яндекс.Директе трафик распределяется равномерно в начале работы кампании, но позже, спустя какое-то время, алгоритмы Яндекса перераспределяют львиную долю трафика на объявление с более высоким CTR. Перед сравнением можно проверить, равномерно ли распределяются показы между объявлениями в группе.

В Google Ads есть возможность использовать вариант равномерной ротации объявлений. В таком случае трафик будет равномерно распределяться между объявлениями.

Теоретическая часть крайне важна для понимания принципов правильного A/Б-тестирования. Для более глубокого погружения в нее вам могут помочь следующие материалы:

Тем не менее на практике обычно решения принимаются интуитивно либо с помощью дополнительных средств: калькуляторов А/Б-тестов, внешних систем автоматизации и управления по правилам.

При большом количестве групп объявлений сложно проводить расчеты статистической достоверности для каждой из групп. Поэтому в системы Яндекс.Директ и Google Ads встроены механизмы автоматического перераспределения трафика. В следующем материале мы подробно поговорим об этих инструментах.

A/B-тесты: как развивать бизнес с помощью экспериментов

Для всех, кто думает, как зарабатывать больше на своем интернет-магазине. Рассказываем, зачем A/B-тесты нужны ecommerce, когда их проводить и как избежать ошибок.

Немного о Growth marketing или Growth hacking

Четкого определения термина Growth hacking нет. Впервые он был озвучен относительно недавно, в 2010 году, Шоном Эллисом, маркетологом Dropbox. В своей статье о старт-апах он упомянул о гроу хакере, как о специалисте, который с помощью нестандартных решений и тестов находит наилучшие решения, позволяющие проектам расти.

Growth hacking (гроу хакинг) — это подход, который позволяет с помощью быстрых экспериментов над разными составляющими бизнеса определить самые эффективные пути развития.

Объектом эксперимента может выступать что-угодно: от самого продукта до отдельного этапа воронки продаж. Главное, чтобы на основе полученных данных, можно было формировать стратегии роста. И если в оффлайне проведение маркетингового исследования может стоит десятки тысяч долларов, то экспериментировать онлайн не только бюджетно, но и доступно.

В интернет-маркетинге эксперименты проводятся с помощью аб-тестов.

Что такое A/B-тестирование (сплит-тесты)

A/B-тестирование (оно же сплит-тестирование или аб-тестирование) — это метод исследования, который позволяет оценить эффективность различных элементов путем сравнения. Такой тест показывает, какой вариант лучше решает поставленные задачи.

Мы проводим тесты с помощью Google Optimize. Можно использовать и другие сервисы, но GO совершенно бесплатный. К тому же, интеграция с Google Analytics обеспечивает сохранность данных (не нужно предоставлять доступ сторонним сайтам).

Зачем бизнесу нужны сплит-тесты

A/B-тесты позволяют найти способ, как улучшить конверсию, экономические показатели и поведенческие факторы.

Главные преимущества A/B-тестов — это доступность и относительная малобюджетность. В зависимости от изменений, которые будут тестироваться, при малых затратах можно достигнуть больших результатов.

Увеличить объем продаж или количество регистраций, задержать клиента на странице магазина — все это и намного больше можно сделать благодаря сплит-тестированию.

Например, тестируя более заметный СТА-элемент, мы увеличили количество регистраций на сайте клиента на 9%.

В интернет-магазине можно тестировать расположение элементов, дизайн, надписи и тексты. Если говорить о страницах, то чаще всего это корзина, карточка товара и разные формы захвата (регистрация, подписка на новости).

АБ-тесты помогают оставаться конкурентоспособными, подстраиваясь под изменения рынка и пожелания клиентов, с наибольшей выгодой для компании.

Когда нужно проводить A/B-тесты

Идеального времени, чтобы начать тестирование нет. Проводить тесты необходимо непрерывно, при условии, что у компании есть четкие цели и ресурсы. У приемов, которые позволяют бизнесу расти, есть жизненный цикл. Те тактики, которые приносили вам деньги год назад с каждым днем становятся менее эффективными. Во-первых, потому что пользователи быстро привыкают к любым изменениям и перестают обращать на них внимание. Во-вторых, потому что игроки рынка копируют работающие приемы. Для того чтобы проекты росли, необходимо постоянно развиваться.

Стоит учесть, что нежелательно одновременно тестировать гипотезы, которые касаются пересекающихся элементов (например, изменение цвета кнопки и текста). Это влияет на продолжительность экспериментов. По этой причине в крупных компаниях, тесты проводятся постоянно.

Идеи для тестирования берутся из аналитики (скажем, определяются слабые места сайтов) или из бизнес-задачи (например, увеличить количество транзакций). Можно подсматривать идеи у конкурентов, но то, что сработало для другой компании и аудитории, может не сработать у вас.

Можно ли проводить ab-тесты самостоятельно

Крупные онлайн-ритейлеры проводят эксперименты самостоятельно, ведь на проектах такого масштаба чаще всего есть выделенная команда, которая состоит из специалистов по маркетингу, веб-аналитике, дизайну, копирайтингу и разработке.

На практике, средним и мелким ecommerce проектам проводить тестирование внутри компаний бывает тяжело из-за отсутствия кадров и опыта. Именно по этим причинам обращаются в агентства. Владельцу или менеджеру достаточно прийти с запросом формата хочу увеличить объемы продаж, а команда агентства сама просчитает возможные варианты, протестирует и презентует результат.

Если ваша компания обладает временными и кадровыми ресурсами, то можно провести исследования самостоятельно. Важно понимать, что отсутствие опыта влечет за собой риски, в том числе финансовые.

Что важно знать об A/B-тестировании

АБ-тестирования — один из самых доступных методов маркетингового исследования, но есть определенные тонкости, которые делают проведение аб-тестирования невозможным.

1. Отсутствие целей, проблемы, гипотезы. Прежде, чем проводить тестирование, необходимо определить проблему или установить цель. Получать больше заказов или сократить отток клиентов? Например, если вы хотите получать больше заказов, то можете поработать с текстом и дизайном кнопки, которая за это отвечает. Затем формулируется гипотеза, например: «Красный цвет кнопки срабатывает лучше, чем зеленый, так как он заметней».

Важно понимать, что гипотеза — это не прогнозирование. Прогноз — это ваши предположения, если гипотеза оправдается.

2. Тестирование нескольких гипотез одновременно. АБ-тесты могут проводиться одновременно только если не касаются пересекающихся элементов или процессов. Иначе, нельзя будет определить, что привело к результату.

Приоритезируйте. У вас или компании наверняка есть первоочередные цели. Достигнуть их можно разными путями, но благодаря опыту и данным аналитики, специалисты помогут определиться, какой тест окажется эффективней.

3. Останавливать тест, когда захочется. Для проверки каждой гипотезы нужно свое время, это зависит от множества факторов: сезона, трафика, наличия промо-активностей и т.д. Даже если кажется, что один вариант явно лидирует. Остановив тестирование раньше, можно получить недостоверные результаты, которые повлекут неверные стратегические решения. Проводить тест нужно до тех пор, пока не будет достигнут минимальный результат.

4. Привязываться к одному показателю. Будьте внимательны при оценке результатов. Допустим, вы тестировали показатель конверсии и определили, что красную кнопку нажимают чаще. Не забудьте проверить экономические показатели. Средний чек или объем продаж мог упасть.

Обязательно убедитесь, что выполнили следующие действия:

  • определили размер выборки;
  • проверили однородность аудитории (А/А-тестирование или проверка с историческими данными);
  • учитывайте окружающую среду.

Напоследок

Ecommerce рынок в Украине выроc практически на 30%, а это значит, что продавать становится тяжелее. Для того чтобы стать действительно крупным игроком рынка, необходимо постоянно развиваться и совершенствоваться. Благодаря своей бюджетности и доступности, AB-тесты становятся универсальным инструментом для поиска новых возможностей. Важно понимать, что не успешных аб-тестов не бывает. Данные полученные на их основе, позволяют бизнесу масштабироваться.

Делитесь своими успешными и не очень историями сплит-тестирования. Будет интересно почитать.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Очень мало практической информации. Пересказ каждой второй статьи про сплит-тесты. Если хотите поделиться экспертностью в теме, то лучше осветить вопросы:
1) Как эффективно организовать процесс генерации гипотез для тестов?
2) Как с помощью GO (или другого инструмента) тестировать более сложный гипотезы, чем замена цвета кнопки? Например, 2 варианта первого экрана на товарных страницах в интернет магазине, при условии что точкой входа может быть и товарная страница, и страница другого типа.
3) Как правильно проверять статистическую значимость тестов более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека? Или как правильно принять решение о необходимости исключения из анализа статистических выбросов?
4) Нужны ли a/b тесты, если ты не яндекс или озон, а обычный региональный бизнес с 10к визитов и 100 лидами в месяц?

Дмитрий, спасибо за фидбек.
Эта статья — не техническая, мы не хотели рассказать механизм проведения тестирования, кстати, таких пересказов тоже хватает.
Данный материал мы готовили для владельцев бизнеса и специалистов, которые ищут возможные точки роста и не рассматривали аб-тесты в принципе.

Вы предложили отличные вопросы, будем думать над тем, чтобы написать вторую статью, более практичную.

Как всегда годный материал от вас. Спасибо!

Артур, спасибо за фидбек)
Будем стараться.

Недавно пробовал проводить тест через Google Experiments. Почему-то на странице «B» не работали ссылки. Они все вели на главную, не знаете почему так?

Сергей, вероятно была некорректная настройка. В целом, функционал Google Experiments считается устаревшим. Его перестали поддерживать с момента появления Google Optimize.
Рекомендуем настраивать тесты в нем.

Дмитрий Борзенко
Web-аналитик, Promodo

Как не надо анализировать A/B тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Эта ошибка – побочный эффект проверки результатов A/B теста c готовностью действовать на их основе до его окончания. Ее называют «Peeking problem» или «Проблема подглядывания».

Интересная особенность этой ошибки в том, что ее допускают те, кто уже достаточно далеко ушел в изучении науки A/B тестирования, например, научился считать, является ли наблюдаемая разница статистически значимой или нет.

Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор (образовательный продукт от Go Practice) вам в этом поможет.

Статистическая значимость простыми словами

Вы привлекли в игру 10 новых пользователей и случайно разделили их между старой и новой версией. Из 5 пользователей, которые попали в старую версию игры, на следующий день вернулись 2 (40%). Из 5 пользователей, которые попали в новую версию, на следующий день вернулись 3 (60%).

Можно ли на основе собранных данных сказать, что Retention 1 дня новой версии игры лучше, чем старой?

К сожалению, нельзя. Выборка очень маленькая, поэтому велика вероятность, что наблюдаемая разница – случайность, а не результат влияния изменений.

Математическая статистика предоставляет инструменты, помогающие понять, можно ли различие в метрике между группами связать с изменениями продукта, а не со случайностью. Другими словами, является изменение статистически значимым или нет.

Способ проверки статистической значимости в рамках частотного подхода к теории вероятности, которому обычно учат в университетах, работает следующим образом:

  1. Собираются данные для версии A и B.
  2. Делается предположение, что тестовые группы между собой не отличаются.
  3. В рамках предположения идентичности групп считается, какова вероятность получить наблюдаемую в эксперименте или большую разницу между группами. Такое значение называют p-value.
  4. Если p-value меньше определенного порогового значения (обычно 5%), то изначальное предположение об идентичности тестовой и контрольной группы отвергается. В этом случае можно с высокой степенью уверенности утверждать, что наблюдаемая разница между группами значима (связана с их различиями, а не случайностью).
  5. Если p-value больше порогового значения, то тестируемые версии на основе собранных данных неразличимы. При этом в реальности между ними как может быть различие, которое мы просто не выявили, так его может и не быть. Мы не знаем.

Это очень поверхностное объяснение основной идеи проверки статистической значимости. В реальности все сложнее: необходимо изучить структуру данных, очистить их, выбрать правильный критерий, интерпретировать результаты. Все эти шаги таят в себе много подводных камней.

Простой пример расчета статистической значимости

Давайте вернемся к игре из прошлого примера.

Команда учла недостатки дизайна первого A/B теста, и на этот раз привлекла 2000 новых пользователей (по 1000 в каждую из версий). На 1 день в первой версии вернулись 330, а во второй 420.

Во второй версии больше пользователей вернулись на 1 день, но команда не могла быть уверена, что это произошло из-за влияния продуктовых изменений, а не в результате случайного колебания метрики.

Для разрешения вопроса надо было посчитать, является ли наблюдаемая разница в Retention 1 дня статистически значимой или нет.

В данном случае изучалась простая метрика (конверсия новых пользователей в определенное действие – возвращение на 1 день), поэтому можно было воспользоваться онлайн калькулятором для расчета статистической значимости.

Как провести A/B-тестирование: подробная инструкция

Когда маркетологи создают целевые страницы, пишут e-mail кампании или проектируют CTA-кнопки, соблазн сделать побыстрее и положиться на интуицию велик. Ведь гораздо проще предположить, что именно это слово и этот прототип станет конвертировать много и хорошо. Однако, полагаться на чувства и догадки нельзя. Для того чтобы проверить все гипотезы, профи используют А/В-тестирование. Как провести тесты правильно и не ошибиться с выводами? Поможет наша инструкция.

Что такое А/В-тестирование?

А/В-тестирование предусматривает проверку двух гипотез по изменению контента страницы, юзабилити, текста или цвета кнопки. Проверять можно что угодно.

Предположим, что маркетологи хотят проверить: что будет, если переместить кнопку призыва к действию выше на главную страницу. Для этого создают альтернативную страницу с перемещенной CTA-кнопкой. Затем ее запускают в работу и ждут, пока количество посещений не достигнет определенной отметки. Для качественной выборки нужно минимум 2-3 тысячи посетителей.

И затем сравнивают, дало ли перемещение кнопки результаты, и какие.

Как провести A/B-тестирование?

Перед проведением теста

1. Выберите одну переменную для проверки

Скорее всего вы найдете несколько элементов, которые захотите поменять и протестировать. Но для правильного тестирования есть строгое ограничение — переменная должна быть одна. Если вам нужно проверить несколько гипотез, для каждой создавайте отдельные страницы.

2. Определите цель теста

Хотя вы будете измерять ряд показателей для каждого теста, выберите один основной показатель, на котором вам нужно сосредоточиться. Важно сделать это до разработки тестовой страницы.

3. Создайте контрольную страницу и тестовую

Когда вы определились с переменной и целью тестирования, время создавать предмет теста. Например, если вы тестируете новый дизайн страницы, это будет — новая страница дизайна и страница с прежним дизайном.

4. Сегментируйте аудиторию для теста

Если вы тестируете электронное письмо, например, то вам нужно разделить аудиторию на несколько сегментов. Это поможет понять, в каком случае результаты лучше. Но делить аудиторию нужно не во всех случаях.

5. Определите размер выборки

А именно — количество пользователей-участников тестирования. Цифра зависит от популярности вашего сайта. Для начинающих достаточно 2000 посетителей, а вот крупным ресурсам нужна выборка больше.

6. Определите уровень значимости

В статистике это понятие означает вероятность ложноположительного решения. Чем выше процент вашего уровня значимости, тем увереннее вы можете быть в результатах.

Во время A/B-тестирования

7. Проверяйте оба варианта одновременно

Сроки играют значительную роль в результатах тестов. Будь то время суток, день недели или месяц. Вы должны запустить версию А в том же месяце, что и версию B. Иначе результаты нельзя признать полностью достоверными.

8. Определите временной промежуток

Дайте тесту достаточно времени для получения полезных данных. Также это связано с получением необходимой выборки.

Сколько времени достаточно для проведения теста? В зависимости от вашей кампании и того, как вы выполняете тестирование. Срок может варьироваться от нескольких часов до нескольких недель. И большая часть времени — это, конечно, ожидание, пока новый вариант страницы увидит достаточное количество людей.

9. Соберите отзывы реальных пользователей

А/В- тестирование имеет много общего с машинными техническими исследованиями, но человек и его мнение значат едва ли не больше цифр. Получить качественную обратную связь от реальных пользователей — почему бы и нет? Сделайте опрос, какой вариант из предложенных нравится вашим пользователям больше. Вы можете спросить мнение в соцсетях или загрузить специальную форму на сайт.

После окончания А/В-тестирования

10. Снова сосредоточьтесь на цели

Вспомните, какие цели вы поставили перед началом тестирования и изучите, насколько они оправдали ваши ожидания. Какой вариант получил больше кликов/загрузок/обращений?

11. Измерьте результаты

Теперь, когда вы определили, какой из вариантов работает лучше всего, решите — являются ли результаты статистически значимыми. Другими словами, насколько они достоверны для того, чтобы вносить глобальные изменения в ваш сайт/рекламную страницу.

12. Используйте полученные результаты

Если у вас есть победитель, работайте с ним. Вносите изменения и выпускайте обновленную версию сайта/страницы/рекламы.

Если ни один из вариантов не является статистически значимым, это тоже неплохо. Вы знаете, что ваша гипотеза не оправдалась. Было бы хуже довериться интуиции и совершить ошибочные правки — как мы писали во введении к этой статьей.

Как провести A/B-тестирование: подробная инструкция

Для того чтобы проверить все гипотезы, профи используют А/В-тестирование. Как провести тесты правильно и не ошибиться с выводами? Поможет наша инструкция.

Что такое А/В-тестирование?

А/В-тестирование предусматривает проверку двух гипотез по изменению контента страницы, юзабилити, текста или цвета кнопки. Проверять можно что угодно.

Предположим, что маркетологи хотят проверить: что будет, если переместить кнопку призыва к действию выше на главную страницу. Для этого создают альтернативную страницу с перемещенной CTA-кнопкой. Затем ее запускают в работу и ждут, пока количество посещений не достигнет определенной отметки. Для качественной выборки нужно минимум 2-3 тысячи посетителей.

И затем сравнивают, дало ли перемещение кнопки результаты, и какие.

Как провести A/B-тестирование?

Перед проведением теста

1. Выберите одну переменную для проверки

Скорее всего вы найдете несколько элементов, которые захотите поменять и протестировать. Но для правильного тестирования есть строгое ограничение — переменная должна быть одна. Если вам нужно проверить несколько гипотез, для каждой создавайте отдельные страницы.

2. Определите цель теста

Хотя вы будете измерять ряд показателей для каждого теста, выберите один основной показатель, на котором вам нужно сосредоточиться. Важно сделать это до разработки тестовой страницы.

3. Создайте контрольную страницу и тестовую

Когда вы определились с переменной и целью тестирования, время создавать предмет теста. Например, если вы тестируете новый дизайн страницы, это будет — новая страница дизайна и страница с прежним дизайном.

4. Сегментируйте аудиторию для теста

Если вы тестируете электронное письмо, например, то вам нужно разделить аудиторию на несколько сегментов. Это поможет понять, в каком случае результаты лучше. Но делить аудиторию нужно не во всех случаях.

5. Определите размер выборки

А именно — количество пользователей-участников тестирования. Цифра зависит от популярности вашего сайта. Для начинающих достаточно 2000 посетителей, а вот крупным ресурсам нужна выборка больше.

6. Определите уровень значимости

В статистике это понятие означает вероятность ложноположительного решения. Чем выше процент вашего уровня значимости, тем увереннее вы можете быть в результатах.

Во время A/B-тестирования

7. Проверяйте оба варианта одновременно

Сроки играют значительную роль в результатах тестов. Будь то время суток, день недели или месяц. Вы должны запустить версию А в том же месяце, что и версию B. Иначе результаты нельзя признать полностью достоверными.

8. Определите временной промежуток

Дайте тесту достаточно времени для получения полезных данных. Также это связано с получением необходимой выборки.

Сколько времени достаточно для проведения теста? В зависимости от вашей кампании и того, как вы выполняете тестирование. Срок может варьироваться от нескольких часов до нескольких недель. И большая часть времени — это, конечно, ожидание, пока новый вариант страницы увидит достаточное количество людей.

9. Соберите отзывы реальных пользователей

А/В- тестирование имеет много общего с машинными техническими исследованиями, но человек и его мнение значат едва ли не больше цифр. Получить качественную обратную связь от реальных пользователей— почему бы и нет? Сделайте опрос, какой вариант из предложенных нравится вашим пользователям больше. Вы можете спросить мнение в соцсетях или загрузить специальную форму на сайт.

После окончания А/В-тестирования

10. Снова сосредоточьтесь на цели

Вспомните, какие цели вы поставили перед началом тестирования и изучите, насколько они оправдали ваши ожидания. Какой вариант получил больше кликов/загрузок/обращений?

11. Измерьте результаты

Теперь, когда вы определили, какой из вариантов работает лучше всего, решите — являются ли результаты статистически значимыми. Другими словами, насколько они достоверны для того, чтобы вносить глобальные изменения в ваш сайт/рекламную страницу.

12. Используйте полученные результаты

Если у вас есть победитель, работайте с ним. Вносите изменения и выпускайте обновленную версию сайта/страницы/рекламы.

Если ни один из вариантов не является статистически значимым, это тоже неплохо. Вы знаете, что ваша гипотеза не оправдалась. Было бы хуже довериться интуиции и совершить ошибочные правки — как мы писали во введении к этой статьей.

Что такое A/B тестирование, как и зачем его проводить

У вас есть интернет-магазин или сайт, на который идут клиенты? Очевидно, вы хотите получать от него постоянную прибыль и наращивать доход. Для того, чтобы эффективно развиваться, ваш сайт должен соответствовать интересам клиентов. А чтобы прибыль от продаж с интернет-страницы не падала, необходимо внедрять новые товары или услуги, тем самым увеличивая охват аудитории, а также пробовать новые дизайны для лендинга, подстраиваясь под потребности читателя. Но как же понять, насколько эффективны ваши действия, чтобы не слить рекламный бюджет в унитаз?

Знакомьтесь: A/Б -тест — мощный инструмент маркетинга для улучшения эффективности сайта. Этот метод позволит измерить предпочтения аудитории и оказать влияние на основные характеристики веб-сайта: конверсию, период присутствия пользователя на странице, средний чек, количество отказов и другие показатели.

Итак, вы запустили новую услугу или продукт и разместили на страничке сайта. Затем, через какое-то время решили, что товар будет продаваться лучше, если изменить цветовую гамму или сделать кнопку “Купить” побольше. Но, как и везде, есть доля сомнений, и появляется ряд вопросов: если увеличить картинки, они отвлекут от кнопки заказа? На сколько процентов увеличится конверсия? А если упадёт? Для таких случаев и проводится A/B-тест.

Смысл тестирования очень прост. Пользователи вашего ресурса случайным образом делятся на 2 группы. Одна из них — группа “А”, она будет видеть старую, не измененную версию сайта.

На основе ее данных мы оценим эффект от уже внесенных на сайт изменениях о товаре. Измененную версию сайта будет видеть группа “В”.

Если вы опасаетесь, что изменения приведут к резкому оттоку аудитории, имеет смысл начать тестирование с незначительного числа потребителей, в дальнейшем увеличивая охват.

Что можно тестить?

  • Разнообразные иллюстрации
  • Изображения продукции
  • Число слов на странице, расположение текста и его внешний вид
  • Описание продукта и его заголовок
  • Стоимость товара
  • Образец и дизайн страницы и многое другое.

Следует отметить, что эффективнее всего проводить тестирование каждого элемента по отдельности. Например, вы хотите изменить зеленую кнопку с текстом “В корзину” на красную и с надписью “Заказать”. Результаты тестирования покажут, что на новый вариант потребители отреагируют лучше, но вам будет не понятно, что оказалось эффективнее, цвет кнопки или замена надписи. Вдруг реакция на зеленую кнопку с надписью “Заказать” окажется лучше.

Чтобы оценить качество тестирования , нужно учесть несколько основных факторов, таких как:

  1. Конверсия сайта
  2. Экономические значения
  3. Поведение потребителей.

Всегда анализируйте итоги после проведения А/Б теста. Часто бывает так, что после изменений на сайте у вас вдруг снизится сумма среднего чека, но общая выручка увеличится. Обычно это бывает из-за того, что людям удобнее сразу нажать кнопку «купить» и заполнить анкету, нежели собирать товар в корзину.

Для того, чтобы провести А/Б тест, нам потребуется инструмент, который разделит аудиторию на сегменты и рассчитает их характеристики отдельно друг от друга. Например, такая возможность есть в Google Analytics Experiements.

На самом деле самостоятельно проводить А/Б тестирование не так уж сложно, наиболее важно правильно проанализировать и понять результаты.

Как провести A/B тест: пошаговая инструкция для новичков

Чтобы осуществить А/Б тестирование сайта, вам потребуется аккаунт в Google Analytics.

Затем откроется рабочая панель Google Analytics.

Заходим в аккаунт > Поведение > Эксперименты. Нажимаем «Создать эксперимент».

Теперь нужно заполнить поля:
— Название эксперимента
— Цель
— Процент трафика: для того чтобы побыстрее получить результаты теста, можно увеличить процент посетителей, участвующих в эксперименте. Однако помните, если боитесь резкого спада продаж, то лучше начать с небольшого сегмента.
— Вкл./выкл. уведомления по email.

Затем вписываем адреса страниц участвующих в А/Б тесте, ставим галочку, как показано ниже. Это позволит считать страницы за одну в других отчетах, когда в отчете А/Б тестирования это по-прежнему останутся две разные страницы. Нажимаем “Далее”.

На третьем шаге настройки, генерируется код, который нужно вставить в тег «head» страницы участвующей в тесте. Важно вставить код сразу после тега , если все сделали правильно, нажимаем “сохранить изменения”.

Есть и более простой способ: просто отправьте код веб-мастеру по электронной почте.

Завершающий этап — проверка наличия счетчика Google Analytics на тестируемых страницах. Нам экран проверки показывает ошибку, потому что мы используем Google Tag Manager.

Однако, статистика все-равно будет собираться. Поэтому не обращаем внимания, нажимаем «Начать эксперимент».

Теперь весь трафик будет перенаправляться в процентах на начальную страничку.
Первые итоги теста возможно будет увидеть через 2-3 дня после начала эксперимента. Чтобы наблюдать за результатами, выберите нужный вам эксперимент в списке и перейдите на страницу отчетов: Google Analytics → Поведение → Эксперименты.

Если ранее вы уже создавали эксперименты, то при переходе в соответствующий раздел откроется их список. Здесь вы увидите:

  • какие проводятся исследования(эксперименты) на данный момент;
  • важные уведомления;
  • дату начала и окончания исследования;
  • информацию о том, на какой странице наиболее лучший результат;

Здесь же можете формировать новые исследования и искать запущенные ранее, а также изучать отчет об эксперименте.

Для более достоверных результатов тестирование желательно проводить не менее 1 недели. Так как в разные дни поведение пользователей отличается.

Следующий шаг, после А/Б тестирования — продуктивная аналитика. Странно, что все исследователи по-разному анализируют результаты тестов и пользуются разными статистическими критериями. Для простоты анализа полученных данных были созданы специальные калькуляторы, которые проверяют ваши гипотезы.
Например, такие как: ABBA A/B Test (Split Test) Calculator, G-test Calculator,
ABTestGuide — эти инструменты помогут вам разобраться в результатах, разложат все данные по полочкам при помощи графиков и покажут статистику.

Как вы поняли провести тестирование можно самостоятельно при помощи специальных инструментов. Помимо бесплатного Google Analytics есть и другие, например:

Optimizely — самый известный и платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США. Все зависит от вида подписки, которой вы воспользуетесь. Одним из преимуществ этого сервиса является возможность формирования экспериментов в визуальном интерфейсе, что не требует необходимости работать с HTML-кодом тестируемых страниц.
ABTest.ru — по функционалу повторяет Optimizely, но на русском интерфейсе. Работает в режиме бета-тестирования и является бесплатным.
RealRoi.ru — еще один очень простой и не требующий оплаты за проведение тестов отечественный сервис.

В итоге, если у вас множество гипотез о том, как увеличить прибыль с вашего сайта, но ограничения по бюджету, то вам обязательно нужно провести А/Б тест или же обратиться к UX специалисту-дизайнеру. Надеемся, наша статья поможет вам в этом.

Сегодня вы узнали, что А/Б тест может помочь изучить предпочтения вашей аудитории, повлиять на время пребывания на странице и среднюю сумму заказа.

Он показывает не только общую картину результатов, но и раскрывает их детали. Чтобы провести тестирование, необязательно тратить кучу денег, достаточно зарегистрироваться в сервисе Google Analytics Experiements и следовать простой инструкции, затем воспользоваться нехитрыми инструментами для аналитики, например, ABTestGuide.

Ссылка на основную публикацию