Какой метод такое A/B тестирование а также зачем такой подход необходимо
сплит тестирование являет из себя способ сравнения нескольких или нескольких вариантов раздела, интерфейса, копирайта, элемента действия, анкеты, рассылки, рекламного сообщения либо иного цифрового блока. Главная функция заключается в том задаче, для того чтобы выяснить, который формат эффективнее функционирует в фактической аудитории. Без опоры на гипотез без проверки и субъективных оценок применяется проверка среди настоящей посетителей, при которой контрольная часть видит вариант A, а вторая — вариант B.
Такой принцип помогает принимать действия по базе данных, вместо этого не субъективных вкусов или единичных замечаний. Внутри аналитических публикациях, в том числе 1вин, нередко подчеркивается, поскольку сплит эксперимент особо полезно в тех случаях, при которых точечные правки могут воздействовать на поведение пользователей: нажатия, регистрации, отправку заявок, длину изучения, удержание, заказы, подписки либо иные нужные действия. Метод помогает понять, реально ли именно корректировка улучшает 1win результат.
Как проводится A/B эксперимент
Механизм А/Б тестирования достаточно понятен. Вначале берется объект, который требуется протестировать. Таким элементом способен быть заголовок, цвет элемента действия, расположение блоков, формулировка уведомления, логика анкеты, изображение, тариф, тип предложения а также позиция целевого шага. Затем формируются как минимум пары варианта: контрольный и обновленный. После этого трафик разделяется между версиями на основе предварительно заданным условиям.
Контрольная часть пользователей сохраняет возможность получать исходную версию, и тестовая получает обновленную. Платформа фиксирует данные о поведении любой группы а также анализирует метрики. В случае если версия B показывает более высокий эффект при достаточном объеме наблюдений, такой вариант допустимо запускать. Если отличия не наблюдается а также новая версия работает менее эффективно, изменение убирается. Именно в этом и проявляется практическая значимость теста: эксперимент помогает проверять гипотезы перед полного 1вин внедрения.
Почему необходимо А/Б проверка
A/B тестирование важно ради уменьшения неясности. На уровне веб сервисах включая незначительная особенность имеет шанс воздействовать в отношении оценку интерфейса. Одиночный заголовок может стать понятнее другого, сжатая заявка способна проходиться активнее объемной, при этом намного более выразительная кнопка действия может усилить число переходов. При отсутствии тестирования подобные результаты обычно сохраняются гипотезами.
Подход позволяет оптимизировать платформу шаг за шагом. Взамен масштабной переделки полного сайта либо сервиса допустимо тестировать конкретные блоки плюс фиксировать реальный результат. Это сокращает риск ошибочных изменений, сберегает затраты и дает возможность формировать данные о реакциях посетителей. С течением временем специалисты 1 win собирает не совокупность суждений, а базу проверенных подходов.
Какие именно блоки можно тестировать
Тестировать получается почти любой блок, какой воздействует по части реакции посетителя. Как правило в большинстве случаев оценивают заголовки, вторичные заголовки, обращения на действию, тексты CTA-элементов, поля создания профиля, место секций, изображения, карточки продуктов, порядок действий, сортировки, список разделов, промоблоки, сообщения, email-сообщения и рекламные объявления. Существенно, для того чтобы отобранный объект оказывался связан с конкретной заданной целью.
Если цель состоит в необходимости увеличении отправленных форм, разумно сравнивать заявку, формулировку рядом с этого блока, количество полей плюс выразительность элемента действия. В случае если необходимо увеличить длину изучения, следует оценивать переходы, модули подсказок, внутренние ссылки а также структуру раздела. Насколько прямее зависимость 1win в паре правкой а также целью, настолько ценнее итог тестирования.
Гипотеза в роли фундамент проверки
Любой хороший A/B проверка стартует на основе гипотезы. Проверяемая идея объясняет, какое именно изменение предлагается, по какой причине это изменение может сказаться в отношении результат а также какой результат обязан поменяться. В частности, можно сформулировать, будто упрощение заявки оформления аккаунта уменьшит число незавершенных действий, поскольку что человеку потребуется меньше времени ради завершения шага.
Корректная проверяемая идея не обязана может оставаться слишком общей. Фраза вроде «сделать интерфейс удобнее» не позволяет помогает измерить эффект. Гораздо более точный вариант: «когда заменить объемный надпись CTA с помощью сжатый плюс понятный, объем нажатий вырастет, потому что шаг окажется очевиднее». Такая гипотеза сразу же 1вин задает предмет эксперимента, логику плюс показатель.
Исходная а также измененная выборки
В А/Б тестировании исходная группа получает старый формат, и тестовая — обновленный. Подобное деление нужно для корректного сопоставления. Если просто заменить версию затем сопоставить метрики до и после изменения, эффект имеет шанс испортиться по причине сезонности, маркетинговой нагрузки, изменения потоков посещений, событий, служебных проблем а также иных внешних факторов.
Одновременный показ отличающихся вариантов снижает роль внешних условий. Контрольная и тестовая выборки остаются внутри близкой обстановке: единый плюс же одинаковый отрезок, одинаковые идентичные потоки посещений, близкие девайсы плюс единый контекст. Следовательно расхождение по показателях с 1 win большей долей уверенности соотносится как раз с корректировкой, и не не с посторонними внешними факторами.
Какие именно метрики задействуются внутри сплит проверках
Критерий — является число, согласно которому измеряется результат теста. Подбор показателя зависит с учетом цели теста. Для лендинга с размещенной формой значимы заполнения обращений, ради торговой площадки — добавления внутрь покупку а также транзакции, в случае медиаресурса — длина изучения и период просмотра, в случае приложения — регистрации, первые действия, retention плюс дальнейшие 1win действия.
Важно разграничивать ключевую плюс вспомогательные показатели. Главная отражает, зачем какой цели делается эксперимент. Вторичные позволяют выявить сопутствующие последствия. В частности, обновление элемента действия имеет шанс усилить клики, при этом ухудшить качество последующих шагов. Поэтому разумно смотреть не только на стартовый шаг, однако еще на следующее действие: окончание анкеты, возвраты, отказы, ошибки а также общую ценность события.
Расчетная существенность
Математическая значимость показывает, насколько вероятно, поскольку наблюдаемая отличие среди вариантами не считается является статистическим шумом. Если один решение незначительно опережает второй по итогам нескольких малого числа посещений, такой результат все еще не означает означает победу. В условиях небольшом объеме наблюдений показатель способен оперативно измениться, если 1вин выборка окажется объемнее.
Для корректного итога нужно значительное объем данных. Насколько меньше предполагаемая отличие между решениями, тем самым объемнее наблюдений потребуется получить. В случае если корректировка обязано повысить результат всего около малое число процентных пунктов, эксперименту будет необходимо больше длительности и пользователей. Расчетная существенность дает возможность не формировать поспешные действия с опорой на результатах случайных изменений.
Объем наблюдений а также продолжительность теста
Объем аудитории сказывается по части качество результата. Если проверка получает чрезмерно ограниченный объем посетителей, заключения имеют шанс стать неточными. Например, пять новых переходов внутри первой выборке способны показываться в виде прирост, при этом в условиях значительном масштабе окажутся обычной случайностью. Следовательно до момента старта важно рассчитывать, сколько посетителей 1 win а также конверсий нужно ради оценки предположения.
Продолжительность проверки дополнительно получает важность. Слишком быстрый период проверки способен не отражать различия между обычными а также нерабочими сутками, рабочей и послерабочей активностью, разными потоками трафика. Чаще всего тест должен включать полный период действий аудитории. При таком подходе слишком долгий тест тоже нежелателен, в случае если внешние обстоятельства успевают существенно поменяться.
Почему опасно корректировать эксперимент по ходу процесс проведения
Одна из в числе распространенных ошибок — добавлять изменения внутрь тест после момента начала. Когда по ходу процессе проверки обновить текст, сегмент, дизайн, параметры вывода или задачу, показатели перемешаются. Тогда будет сложно понять, какое изменение именно сказалось в отношении итог. Тест утратит прозрачность, а выводы окажутся сомнительными 1win.
Перед старта следует определить гипотезу, форматы, критерии, деление выборки и условия завершения. Вслед за запуска лучше не нужно менять условия при отсутствии важной причины. В случае если найдена проблема в конфигурации либо системный проблема, лучше остановить эксперимент, устранить проблему а также начать другой эксперимент, нежели пытаться интерпретировать смешанные данные.
Синхронное проверка многих изменений
Порой появляется идея проверить одновременно несколько изменений: другой headline, иную кнопку действия, упрощенную заявку плюс обновленный порядок элементов. Такой вариант может выдать общий эффект, однако не покажет объяснит, какой конкретно блок сказался по части результат. Когда новая вариация победила, останется неясно, что повлияло сильнее всего.
Для чистой сравнения как правило изменяют один значимый элемент в 1вин одну проверку. Когда нужно сопоставить разные вариаций, задействуется многовариантное сравнение. Этот формат многоуровневее, предполагает повышенного трафика а также корректной интерпретации. Ради основной части задач A/B тест на основе одной понятной гипотезой обеспечивает более чистый а также полезный эффект.
Примеры A/B экспериментов в UI
В интерфейсах A/B эксперимент регулярно применяется с целью оптимизации доступности шагов. Например, можно сравнить две версии заявки: расширенную с полным множеством строк а также краткую с малым числом сведений. Если короткая заявка усиливает объем успешных созданий аккаунтов без одновременного снижения результативности форм, ее получается считать гораздо более результативной.
Следующий случай — проверка надписи элемента действия. Нейтральная надпись может быть менее понятной, относительно прямое описание результата. Также тестируют место CTA-элементов, порядок смысловых блоков, оформление 1 win пояснений, использование индикатора прогресса, метод отображения предупреждений плюс количество действий в пути. Каждый этот элемент сказывается в отношении то, в какой степени просто выполнить нужное шаг.
A/B тестирование на уровне контенте
В содержании тестирование позволяет выяснить, какие именно названия, описания, построения и типы эффективнее сохраняют интерес. Можно сравнивать разные интро, длину материала, порядок объяснений, наличие списков, подачу карточек, описание выгод а также формат подачи сложной задачи. При этом существенно измерять не исключительно только клики, но еще дальнейшее взаимодействие.
Название способен повысить объем переходов, однако в случае если материал не соответствует запросам, увеличится часть отказов. Следовательно текстовые тесты должны анализировать ценность чтения: длительность изучения, скролл, переходы на уровне платформы, повторные визиты плюс выполнение целевых действий. Сильный итог — представляет собой не исключительно привлечение клика, а соответствие ожидания а также содержания.
А/Б эксперимент внутри почтовых рассылках
В email-рассылках нередко проверяют subject-строки сообщений, название автора, начальные строки, время отправки, длину письма, позицию элементов действия а также тексты офферов. Один сегмент аудитории получает одну вариацию сообщения, второй сегмент — вторую. Вслед за рассылкой сравниваются open rate, переходы, отказы от подписки, претензии а также последующие события на платформе.
Важно не нужно сводить анализ метрикой открытий. Тема email может стать яркой плюс получать внимание, однако если тема не совпадает содержанию, нажатия а также лояльность способны снизиться. Поэтому корректный почтовый эксперимент оценивает полную последовательность: просмотр, переход, активность сразу после нажатия а также реакцию подписчиков по отношению к письмо.
