A/B-тестирование есть почти в каждом сервисе email-рассылок. Но за одинаковым названием скрываются разные возможности: где-то можно сравнить две темы письма, где-то — сразу несколько вариантов, а где-то протестировать несколько параметров одновременно.
Поэтому вопрос не только в том, как провести A/B-тест, но и в том, какой тест вам вообще нужен и насколько удобно его запускать в конкретном сервисе.
В этой статье разберём весь путь: от гипотезы до выбора победителя. А затем возьмём один сценарий и сравним, как его реализовать в enKod, Unisender, DashaMail и Sendsay.
Сначала определите, что именно хотите узнать
A/B-тест начинается не с кнопки «Создать тест», а с вопроса. Например:
- Какая тема письма даст больше открытий?
- Какой CTA приведёт больше пользователей на сайт?
- Что принесёт больше заказов — письмо с ценой товара или без неё?
Это три разные гипотезы. И для каждой нужен свой показатель успеха.
Простая формула хорошего теста
Гипотеза → изменение → метрика → решение.
Например:
- Гипотеза: конкретная выгода в теме увеличит открываемость.
- Изменение: меняем только тему.
- Метрика: Open Rate.
- Решение: используем более эффективную формулировку в следующих рассылках.
Такой подход помогает не попасть в ловушку «давайте что-нибудь потестируем».
Что можно тестировать
В email-рассылках чаще всего проверяют:
- тему,
- прехедер,
- имя отправителя,
- текст,
- дизайн,
- CTA,
- расположение кнопок и ссылок,
- наличие или отсутствие цены,
- формат письма,
- время отправки.
Например, Unisender предлагает тестировать тему и прехедер, имя отправителя, текст, оформление кнопок, формат письма и CTA.
В Sendsay отдельно выделены тема, имя отправителя, контент, время отправки и мультивариантное тестирование.
В enKod для вариантов можно отдельно менять тему, email и имя отправителя, контент, верстку, UTM-метки и URL-параметры.
Не каждый A/B-тест должен быть сложным
Под A/B-тестированием часто понимают один и тот же процесс: вариант А против варианта Б. Но на практике эксперименты бывают разного уровня.
Классический A/B-тест
Два варианта отличаются одним элементом.
Тема А:
«Скидка 20% на все товары»
Тема Б:
«Заберите скидку 20% до конца дня»
Такой тест подходит для регулярных рассылок и большинства маркетинговых задач.
A/B/N-тест
Вместо двух вариантов — несколько.
Например:
- тема А — рациональная,
- тема Б — эмоциональная,
- тема В — с цифрой,
- тема Г — с вопросом.
DashaMail позволяет создавать от 2 до 9 вариантов рассылки в одном A/B/N-тесте. Система формирует тестовые сегменты, собирает статистику и выбирает победителя.
Мультивариантный тест (MVT)
Здесь меняется сразу несколько параметров.
Например:
- 2 темы,
- 2 варианта имени отправителя,
- 2 макета.
Получаем уже 8 комбинаций.
Это экономит время, если хочется проверить несколько гипотез одновременно. Но требует гораздо большей аудитории: чем больше комбинаций, тем меньше получателей приходится на каждый вариант.
Sendsay рекомендует использовать MVT на больших аудиториях и отдельно указывает ориентир от 100 000 получателей.
Вывод: если у вас небольшая база, сложный тест не сделает эксперимент умнее. Он просто разделит аудиторию на слишком много маленьких групп.
Как провести тест так, чтобы результату можно было доверять
Меняйте одну переменную
Если в варианте А другая тема, новый дизайн и другой CTA, после теста вы не узнаете, что именно сработало.
Поэтому для классического A/B-теста действует простое правило: один тест — одна гипотеза.
Дайте тесту достаточно аудитории
Если в каждой группе по несколько сотен человек, один случайный всплеск открытий может сделать вариант «победителем».
В качестве практического ориентира сервисы часто называют несколько тысяч получателей на вариант. Одни рекомендует проводить A/B-тесты при базе от 5000 адресов, другие используют ориентир от 5000 получателей на тестовый вариант.
Это не универсальное статистическое правило для любого теста, но хороший повод задуматься о размере выборки.
Не завершайте тест слишком быстро
Первые минуты после отправки показывают реакцию самых быстрых подписчиков. Остальным нужно время. В среднем от 2 до 4 часов для сбора статистики.
Но ориентироваться стоит и на собственную аудиторию. Если большинство подписчиков открывает письма только вечером, трёх часов может быть недостаточно.
Тестируйте сопоставимые группы
Если одна версия ушла активным покупателям, а другая — давно неактивным подписчикам, сравнение будет некорректным. Лучше использовать случайное распределение внутри одной аудитории или сопоставимые сегменты.
Как выбрать победителя
Вот здесь начинается самая интересная часть. Победитель — не обязательно письмо с максимальной открываемостью.
Представим:
| Вариант | Открытия | Клики | Заказы |
|---|---|---|---|
| А | 24% | 3,8% | 42 |
| Б | 29% | 3,1% | 57 |
Если тестировали тему, Б выиграл по открываемости.
Но если задача рассылки — продажи, то Б также дал больше заказов. Поэтому его результат выглядит сильнее и с точки зрения бизнеса.
Теперь представим другую ситуацию:
| Вариант | Открытия | Клики | Заказы |
|---|---|---|---|
| А | 24% | 4,2% | 61 |
| Б | 29% | 3,2% | 38 |
Здесь более высокая открываемость Б не означает, что он лучше.
Поэтому перед тестом спросите себя:
Какое действие должно измениться благодаря гипотезе?
| Тестируем | Основная метрика |
|---|---|
| Тему | открытия |
| Имя отправителя | открытия |
| Прехедер | открытия |
| CTA | клики |
| Контент | клики |
| Коммерческое предложение | конверсия |
| Письмо целиком | бизнес-метрика |
А затем посмотрите и на вторичные показатели:
- CTR,
- конверсию,
- отписки,
- жалобы на спам,
- количество заказов,
- выручку.
А что делать, если разница минимальная?
Не объявлять победителя любой ценой. Если один вариант получил 25,0% открытий, а второй — 25,2%, результат сам по себе ещё не означает, что вы нашли новый универсальный формат темы.
Задача теста — не всегда найти победителя. Иногда его результат:
«Значимой разницы между вариантами не увидели — гипотеза не подтвердилась».
Это тоже полезный результат.
Один сценарий — четыре платформы
Теперь сравним не просто список функций, а конкретную задачу.
Сценарий
Представим, что у нас 100 000 подписчиков.
Нужно:
- проверить две темы,
- отправить варианты случайным 20% базы,
- собрать статистику через четыре часа,
- определить победителя по открытиям,
- отправить победившую тему оставшимся 80%.
На бумаге всё просто. Но именно здесь хорошо видно различие между платформами.
enKod: тест прямо в редакторе письма
В enKod сплит-тестирование доступно на шаге «Редактор сообщения» для мгновенных и запланированных email-сообщений. Можно добавить до пяти вариантов письма. Для каждого варианта отдельно настраиваются тема, email и имя отправителя, контент, верстка, UTM-метки и URL-параметры.
Для нашего сценария:
1. Создаём письмо.
2. Добавляем вторую версию.
Контент предыдущей версии автоматически копируется, поэтому достаточно изменить тему.
3. Настраиваем тестовую группу.
Можно выбрать от 5% до 100% получателей.
4. Выбираем критерий победы.
Для нашего сценария — открытия.
5. Указываем длительность теста.
После завершения система определит победителя и отправит его оставшейся аудитории.
Если выбрать ручное определение, маркетолог сам смотрит статистику и решает, какую версию отправить дальше.
Что здесь удобно
Главное — логика находится внутри создания письма.
Не нужно отдельно собирать две рассылки и потом связывать их в тест. Создали варианты → настроили тест → определили победителя.
Подходит: маркетологу, который регулярно хочет проверять одну гипотезу за раз и не хочет усложнять процесс.
Unisender: классический сплит-тест
В Unisender A/B-тест находится в отдельном разделе «Рассылки → A/B-тест».
Для теста нужно подготовить варианты писем, выбрать аудиторию и настроить параметры тестирования. Сервис автоматически разделит базу, соберёт статистику и определит победителя, после чего лучшая версия отправится основной аудитории.
Сценарий получается таким:
1. Создать письмо.
2. Создать или подготовить вторую версию.
3. Перейти в раздел A/B-тестов.
4. Выбрать варианты и аудиторию.
5. Указать время тестирования и критерий победы.
6. Запустить тест.
7. Посмотреть отчёт.
Отдельный плюс — A/B-тестирование связано с другими инструментами Unisender: конструктором писем, аналитикой, шаблонами и интеграциями.
Что здесь удобно
Классический сценарий понятен и хорошо подходит для регулярных рассылок.
Что может быть неудобно
Для простого теста нужно отдельно перейти в раздел A/B-тестирования после подготовки писем. То есть сам эксперимент находится не внутри редактора, а в отдельном процессе.
Подходит: тем, кто уже работает в экосистеме Unisender и хочет использовать A/B-тесты вместе с остальными инструментами платформы.
DashaMail: когда двух вариантов уже мало
DashaMail предлагает A/B/N-тестирование: можно создать от 2 до 9 вариантов. Система автоматически формирует тестовые сегменты и после сбора статистики выбирает победителя.
Причём тестировать можно не только тему. В документации DashaMail предусмотрены варианты отправителя, контента и другие параметры, а критериями победы могут быть максимальное количество открытий, кликов или минимальное количество отписок. Победителя также можно выбрать вручную.
На примере нашего теста двух тем сценарий похож на классический A/B.
Но если мы захотим проверить:
- 3 темы,
- 2 имени отправителя,
- 2 макета,
DashaMail сможет сформировать комбинации этих параметров. В документации приведён сценарий, где тестирование нескольких параметров создаёт отдельные тестовые сегменты для комбинаций.
Есть и отдельный сценарий тестирования времени отправки. В этом случае сервис распределяет аудиторию по временным «пачкам» и сравнивает их показатели.
Что здесь удобно
Много свободы для экспериментов.
Что может быть неудобно
Чем больше вариантов и комбинаций, тем больше нужна аудитория. Для обычного теста двух тем часть этой мощности может оказаться просто ненужной.
Подходит: командам, которые уже системно экспериментируют и хотят переходить от простого A/B к A/B/N и более сложным сценариям.
Sendsay: A/B-тест как отдельный эксперимент
В Sendsay A/B-тест можно создать в разделе «Рассылки → A/B Тесты» или прямо в редакторе сценариев. Тест проходит через семь последовательных шагов: выбор параметра, настройка аудитории и тестовой группы, условие победы, создание вариантов, дополнительные настройки, запуск и выбор победителя.
Для нашего сценария можно:
- выбрать тему,
- указать тестовую группу,
- выбрать критерий «количество открытий»,
- установить время тестирования,
- создать два варианта,
- запустить тест,
- автоматически отправить победителя оставшейся аудитории.
Sendsay позволяет создать до пяти вариантов. Кроме открытий и кликов, победителя можно определить по отпискам или выбрать вручную.
Ещё одна интересная возможность — MVT. Она позволяет тестировать несколько параметров одновременно. Но сам Sendsay рекомендует использовать такой подход на больших аудиториях — от 100 000 получателей.
Что здесь удобно
Подробный контроль над экспериментом и много вариантов для продвинутых сценариев.
Что может быть неудобно
Для простого теста двух тем процесс может показаться избыточным: нужно пройти отдельную последовательность настроек.
Подходит: командам, которым нужен более сложный экспериментальный контур и которые готовы работать с большим количеством настроек.
Сравнение возможностей
Если свести основные возможности к одной таблице, картина выглядит так:
| Возможность | enKod | Unisender | DashaMail | Sendsay |
|---|---|---|---|---|
| Классический A/B | ✓ | ✓ | ✓ | ✓ |
| Несколько вариантов | до 5 | ✓ | до 9 | до 5 |
| Тест темы | ✓ | ✓ | ✓ | ✓ |
| Тест отправителя | ✓ | ✓ | ✓ | ✓ |
| Тест контента | ✓ | ✓ | ✓ | ✓ |
| Тест времени | — | ✓ | ✓ | ✓ |
| Выбор по открытиям | ✓ | ✓ | ✓ | ✓ |
| Выбор по кликам | ✓ | ✓ | ✓ | ✓ |
| Выбор по отпискам | — | — | ✓ | ✓ |
| Ручной выбор победителя | ✓ | ✓ | ✓ | ✓ |
| MVT / комбинации параметров | — | ограниченно | ✓ | ✓ |
| Автоматическая отправка победителя | ✓ | ✓ | ✓ | ✓ |
Здесь важно не воспринимать таблицу как рейтинг.
Больше функций не всегда означает более удобный сервис.
Если вы тестируете две темы раз в месяц, возможность создать девять вариантов не обязательно будет преимуществом. А если команда постоянно проводит эксперименты на большой базе, наоборот, базового A/B может быстро стать мало.
Что выбрать: простой A/B или продвинутые эксперименты?
Можно отталкиваться от задачи.
«Я только начинаю тестировать рассылки»
Начните с классического A/B.
Одна гипотеза, два варианта, одна основная метрика.
Не нужно сразу тестировать три темы, два CTA и четыре варианта дизайна.
«Я регулярно тестирую темы и контент»
Вам нужен удобный цикл: создал вариант → запустил тест → получил результат → отправил победителя → зафиксировал вывод.
В этом сценарии особенно важна простота интерфейса, а не количество функций.
«У меня большая база и много гипотез»
Тогда имеет смысл смотреть на A/B/N и MVT.
«Мне важно учитывать бизнес-результат»
Не ограничивайтесь встроенной метрикой победителя. Открытия и клики показывают реакцию на письмо, но не всегда отвечают на вопрос, принесло ли оно деньги.
Связывайте email-статистику с аналитикой сайта, CRM и продажами. Тогда A/B-тест становится не способом повысить Open Rate, а инструментом для поиска более эффективных маркетинговых решений.
Частые ошибки: что может испортить даже хороший тест
Тестировать ради самого теста
Если результат никак не повлияет на следующие рассылки, эксперимент вряд ли окупит время команды. Перед запуском спросите: Что мы сделаем, если победит А? А если победит Б? Если ответа нет, гипотезу стоит сформулировать заново.
Менять несколько вещей одновременно
Если одновременно изменить тему, дизайн и CTA, вы получите интересный результат, но не поймёте его причину.
Делить маленькую базу на слишком много вариантов
Больше вариантов не означает больше знаний. Если 10 000 получателей разделить на 9 групп, каждый вариант получит слишком маленькую аудиторию для многих задач.
Выбирать победителя по неправильной метрике
Высокая открываемость не гарантирует высокий доход.
Слишком рано завершать тест
Первые результаты могут сильно измениться после того, как большая часть аудитории увидит письмо.
Не проверять A/B-тест технически
Перед запуском проверьте:
- корректность вариантов,
- ссылки,
- UTM,
- персонализацию,
- отображение письма,
- сегмент аудитории,
- тестовую группу,
- критерий победителя,
- время тестирования.
Последний пункт легко пропустить. Но ценность A/B-тестирования появляется не тогда, когда вы один раз нашли победившую тему. Она появляется, когда результаты тестов начинают накапливаться.
Например:
- «Темы с конкретной выгодой в среднем работают лучше».
- «Для B2B-аудитории имя сотрудника даёт больше открытий, чем название компании».
- «CTA с конкретным действием получает больше кликов, чем универсальное “Подробнее”».
Так появляется собственная база знаний о подписчиках.
Так где же проще проводить A/B-тесты?
Все четыре сервиса позволяют решать базовую задачу: создать несколько вариантов, разделить аудиторию, собрать статистику и определить победителя. Но акцент у них разный.
Unisender хорошо подходит для классического сплит-тестирования в связке с массовыми рассылками, аналитикой и другими инструментами платформы. Сценарий понятен, но сам A/B-тест вынесен в отдельный раздел.
DashaMail интереснее для тех, кто хочет экспериментировать глубже: A/B/N до девяти вариантов, несколько параметров, разные критерии победы и отдельное тестирование времени отправки.
Sendsay подойдёт маркетологам, которым нужен детальный контроль над экспериментом. Здесь есть разные критерии победы, до пяти вариантов и MVT, но и сам процесс настройки подробнее.
enKod делает ставку на более прямой сценарий: тестирование находится непосредственно в редакторе сообщения. Можно создать до пяти версий, настроить для них нужные элементы, выбрать тестовую группу и определить победителя по открытиям, кликам или вручную. После автоматического определения победителя система отправляет выбранную версию остальной аудитории.
Поэтому для простого регулярного A/B-тестирования enKod выглядит одним из самых понятных вариантов. Не потому, что в нём больше всего настроек, а наоборот: для базового эксперимента не приходится усложнять процесс функциями, которые могут не понадобиться.
Если же ваша задача — проводить сложные A/B/N- или мультивариантные эксперименты, стоит смотреть на более продвинутые возможности DashaMail и Sendsay.
Главное — не выбирать сервис по количеству галочек
У хорошего A/B-теста есть три простых свойства:
- Вы знаете, что проверяете.
- Понимаете, по какой метрике оценивать результат.
- Можете использовать вывод в следующей рассылке.
А хороший сервис должен сделать этот путь максимально коротким — от гипотезы до решения.
Именно поэтому при выборе платформы стоит смотреть не только на список функций, но и на то, сколько действий нужно сделать, чтобы проверить одну реальную маркетинговую гипотезу.
Если хотите посмотреть вживую, как выполнить A/B-тестирование рассылки в enKod, оставьте заявку на демо. Мы покажем возможности платформы и ответим на ваши вопросы.
