A/B-эксперименты в Яндекс Директе: что они докажут
A/B-эксперимент в Директе надёжно доказывает только крупную разницу: в модельном расчёте 50% — за 4 недели, а 10% — больше чем за полтора года.
A/B-эксперименты в Яндекс Директе: что сравнение докажет, а что нет
A/B-эксперимент в Директе — сравнение двух или нескольких вариантов кампании на разделённой аудитории в одно и то же время. Он показывает, какой вариант работает лучше, при условии, что варианты отличаются одной настройкой, данных достаточно и разница между ними большая. Мелкие различия при обычном объёме эксперимент за разумный срок доказать не может.
Эксперимент — лучший из доступных в Директе способов сравнить варианты при равных условиях. Но у него узкое поле: он ловит крупные различия при достаточном объёме и не видит продаж из CRM, органического трафика и многого другого. Это не недостаток инструмента, просто его нужно применять там, где он работает.
Ниже разберём, на какие вопросы эксперимент отвечает, а на какие нет, сколько данных нужно для надёжного вывода, какие ловушки скрываются в настройке и как читать подсветку в отчёте, чтобы не принять шум за победу.
Коротко: пять фактов об экспериментах в Директе
- 01
Эксперимент сравнивает варианты в одно время и на поделённой аудитории, поэтому, в отличие от сравнения «до и после», не путает эффект настройки с сезоном и конкурентами.
- 02
При обычном объёме он надёжно доказывает только крупную разницу: в модельном расчёте 50% — за четыре недели, 10% — больше чем за полтора года.
- 03
Отчёт строится на данных Мастера отчётов: продажи из CRM и органический трафик он не видит.
- 04
Слабая подсветка в отчёте появляется уже при p-value меньше 0,2 — примерно каждая пятая такая «разница» может оказаться случайной.
- 05
Остановленная кампания запускается сама, как только её добавили в эксперимент, а в конверсиях по умолчанию учитываются все цели.
Эксперимент вместо сравнения периодов
Сравнение «до и после» измеряет не настройку, а всё сразу: сезон, действия конкурентов, изменения на сайте. Почему так происходит и почему для сравнения стратегий нужен именно эксперимент, разобрано в нашей статье про автостратегии Директа на 2026 год. Здесь эту часть повторять не будем.
Эксперимент снимает проблему: варианты работают одновременно на поделённой аудитории, поэтому сезон и конкуренты действуют на них одинаково. Инструмент доступен в Единой перфоманс-кампании для продвижения сайтов и приложений (кроме кампаний с показами в мессенджерах) и в медийных кампаниях.
Сравнивать можно кампании целиком или разные настройки внутри одной кампании. Для этого создаются две идентичные кампании, отличающиеся только проверяемой настройкой. Для проверки ставок одна и та же кампания добавляется в оба варианта, и для каждого настраиваются свои корректировки. Правило одно: одна гипотеза — один параметр.
Эксперимент честный. Но честность не делает его всемогущим, и дальше речь о том, где его поле заканчивается.
Одно число отражает всё сразу:
- настройку кампании
- сезон и спрос
- действия конкурентов
- изменения на сайте
Варианты сравниваются в равных условиях:
- работают одновременно
- аудитория поделена между вариантами
- отличается одна настройка
- сезон и конкуренты действуют на всех одинаково
Что докажет эксперимент, а что нет
Эксперимент отвечает на вопросы определённого типа. Ниже девять вопросов, которые рекламодатели задают ему чаще всего, и честный ответ по каждому.
Первые три строки — поле, где эксперимент лучший из доступных способов. Остальные — вопросы, которые ему регулярно задают и на которые он честно ответить не может.
| Вопрос | Ответит ли эксперимент | Почему | Как быть |
|---|---|---|---|
| Какая стратегия лучше при равном бюджете | Да | Справка прямо рекомендует сравнивать стратегии экспериментом | Две кампании, отличающиеся только стратегией |
| Какой креатив, акция или посадочная лучше | Да | Одна гипотеза, один параметр | Две идентичные кампании с одним отличием |
| Какие ставки или корректировки лучше | Да | Одна кампания в обоих вариантах с корректировками | После остановки эксперимента добавить корректировку вручную |
| Даёт ли изменение плюс 5–10% | Почти никогда | За разумный срок не хватит данных | Тестировать смелые изменения, а не мелочи |
| Новая кампания против работающей за неделю | Нет | У работающей кампании накоплены статистика и обучение | Растянуть тест, например до четырёх недель, и смотреть последние недели |
| Сколько продаж и выручки дал вариант | Только косвенно | Отчёт строится на данных Мастера отчётов | Передавать оплаты в веб-аналитику и выбрать цель «оплата» или сверить сделки по кампаниям |
| Сколько людей пришло бы без рекламы | Нет | Органический трафик отчёт не видит | Отдельные методы оценки возврата трафика |
| Кампании с показами в мессенджерах | Нет | Эксперименты для них недоступны | Сравнение периодов с оговорками |
| Вариант с менее чем 10 конверсиями в неделю | Нет | Справка требует минимум 10 конверсий в неделю на вариант | Более частая цель или больший бюджет |
Две строки таблицы стоит пояснить. Типичная гипотеза для эксперимента — сравнить новую стратегию, например «Максимум прибыли», с прежней при равном бюджете. Сама стратегия и передача маржи разобраны в отдельной статье, а здесь она служит примером: вопрос «что лучше» задан по силам инструменту.
Вторая строка — новая кампания против работающей. У работающей уже накоплена статистика, а новой нужно время на обучение, поэтому за неделю такое сравнение измеряет разные стадии обучения, а не разные настройки. Как выглядит обучение вслепую, разобрано в статье про признаки слепого обучения автостратегий. В эксперименте же нужно учитывать накопленные данные работающей кампании, увеличить длительность и оценивать по последним сегментам периода.
В строке про 5–10% кроется главный практический вопрос: сколько данных нужно, чтобы доказать небольшую разницу. Считаем.
Сколько данных нужно: расчёт
Чтобы понять порядок величин, возьмём модельный пример и стандартный статистический расчёт для сравнения двух долей. Это иллюстрация, а не бенчмарк и не точный срок для вашего аккаунта: реальные цифры зависят от вашей конверсии и объёма кликов.
Условия примера: базовая конверсия 2%, на каждый вариант приходит по 1000 кликов в неделю, то есть 20 конверсий. Это вдвое больше минимума из справки, где для выводов требуется не менее 10 конверсий в неделю на вариант.
Теперь вопрос: сколько недель нужно, чтобы отличить реальное улучшение от случайного колебания. Ответ зависит от двух вещей — насколько вариант лучше и какой уровень надёжности вы требуете. Ярко подсвеченная разница (p меньше 0,05) надёжнее, но требует больше данных; слабая подсветка (p меньше 0,2) появляется раньше, но и ошибиться тут проще.
| Насколько вариант лучше | До яркой подсветки (p меньше 0,05) | До слабой подсветки (p меньше 0,2) |
|---|---|---|
| На 10% (с 2,0% до 2,2%) | Около 81 недели | Около 46 недель |
| На 20% (с 2,0% до 2,4%) | Около 21 недели | Около 12 недель |
| На 50% (с 2,0% до 3,0%) | Около 4 недель | Около 2 недель |
Для улучшения на 10% это около 80 700 кликов на вариант при яркой подсветке и около 46 300 при слабой. При 1000 кликах в неделю такой объём копится больше полутора лет, то есть практически никогда.
Что это значит. При объёме малого и среднего бизнеса эксперимент надёжно ловит только большую разницу — в десятки процентов. Улучшение на 10% за разумный срок не доказать вовсе. Если отчёт подсветил такую разницу через две недели, это скорее шум, чем результат.
Практический вывод. Тестируйте смелые изменения, а не косметику. Поменять стратегию, посадочную или оффер — да. Поменять слово в заголовке — почти наверняка бессмысленно: вы потратите месяцы и всё равно не получите ответа.
И ещё раз оговорка: точный срок зависит от вашей конверсии и объёма, таблица показывает только порядок величин. Но даже при хорошем объёме эксперимент можно испортить на этапе настройки.
Ловушки настройки: пять мест, где эксперимент ломается
Что идёт не так
- Остановленную кампанию добавили в эксперимент — и она запустилась сама, потому что после добавления запускается автоматически.
- В метриках «Конверсии» и «Конверсия %» по умолчанию учитываются все цели, а не та, на которую оптимизируется кампания.
- Аудиторию поделили неравно, а бюджеты не пропорциональны выборкам — вариант проигрывает просто потому, что ему не хватило денег.
- Ждут конца «длительности», хотя это лишь ожидание, а основную метрику считают определяющей для подсчёта.
- Эксперимент с корректировками завершили, а в настройках кампании корректировок нет.
Как избежать
- 01
Перед добавлением проверьте, что вы не включаете то, что хотели держать выключенным.
- 02
Выберите одну цель — ту, на которую оптимизируется кампания.
- 03
Делите аудиторию поровну и держите бюджеты кампаний пропорциональными выборкам.
- 04
Помните: эксперимент идёт, пока вы его не остановите. Основная метрика отражает гипотезу, но на подсчёт не влияет — в отчёте считаются все метрики.
- 05
Остановите эксперимент и вручную добавьте корректировку в настройки кампании.
Как читать отчёт эксперимента
Отчёт строится на данных, доступных в Мастере отчётов, и показывает результат в таблице. Главная вещь, которую нужно в ней понять, — подсветка ячеек. Ячейки выделяются цветом в зависимости от p-value: меньше 0,2 — слабое выделение, меньше 0,05 — яркое.
Простыми словами, p-value — это вероятность увидеть такую разницу случайно. Чем она меньше, тем меньше шансов, что разница — просто шум. При слабой подсветке примерно каждая пятая такая разница может оказаться случайностью, поэтому решения надёжнее принимать по яркой. Для «Конверсий», «Конверсии %» и «Цены цели» подсветка работает только по данным с 1 января 2025 года.
Такую разницу легко объяснить случайностью
Примерно в одном случае из пяти разница может оказаться случайной
Случайно такая разница возникает реже, чем в одном случае из двадцати
Четыре проверки при чтении отчёта
- 01
Разберитесь с двумя числами в ячейке. Нижнее — реальная абсолютная величина, верхнее — пересчитанная на 100% выборки. Разница в процентах показана относительно контрольного варианта.
- 02
Проверьте сроки. Каждой кампании нужно в среднем 7–14 дней на обучение. При недельных бюджетах оценивайте результаты за полные календарные недели и берите данные не менее чем за два полных бюджетных интервала.
- 03
Смотрите на целевые метрики. Если кампании оптимизированы на конверсии, показы и клики могут различаться между вариантами — это нормально. Решение принимается по целевой метрике.
- 04
Прежде чем завершать, проверьте подсветку. По умолчанию предлагается вариант с наибольшим изменением по ключевой метрике — убедитесь, что у него яркая подсветка. «Запустить на 100%» оставляет выбранные кампании без ограничения выборки, остальные останавливаются; для экспериментов с корректировками сначала остановите эксперимент, затем вручную добавьте корректировку.
Чем заменить там, где эксперимент бессилен
Продажи по вариантам. Отчёт эксперимента видит то, что есть в рекламной статистике. Чтобы сравнить варианты по деньгам, передавайте оплаты в веб-аналитику, например в Яндекс Метрику, и выбирайте цель «оплата». Либо сверяйте сделки по кампаниям — в CRM или в системе сквозной аналитики: Roistat, Calltouch, CoMagic, K50 и других. Учтите, что оплат меньше, чем заявок, поэтому данных для вывода понадобится больше.
Мелкие улучшения. Не пытайтесь доказать улучшение на 5–10%: при обычном объёме это занимает месяцы и всё равно не даёт надёжного ответа. Копите крупные изменения — стратегию, посадочную, оффер — и тестируйте именно их.
Инкрементальность. Сколько людей пришло бы без рекламы, эксперимент не покажет: органика в отчёт не попадает. Это решается отдельными методами оценки возврата трафика.
Эксперимент — лучший способ сравнить варианты в рекламе, если вопрос задан ему по силам.
Итог: задавайте эксперименту вопросы по силам
- 01
Одна гипотеза, один параметр: две идентичные кампании с единственным отличием.
- 02
Тестируйте смелые изменения: в модельном расчёте 50% доказываются за четыре недели, 10% — больше чем за полтора года.
- 03
Проверьте настройку: остановленная кампания запускается сама, цели нужно выбрать вручную, бюджеты — сделать пропорциональными выборкам.
- 04
Принимайте решения по яркой подсветке (p меньше 0,05), а не по варианту, предложенному по умолчанию.
- 05
Продажи из CRM и органический трафик отчёт не видит — для них нужны другие инструменты.
Эксперимент в Директе — спокойный и честный инструмент, если не ждать от него невозможного. Если хотите понять, какие гипотезы в вашем аккаунте можно проверить при вашем объёме, настроить эксперимент без ловушек и верно прочитать результат, — мы поможем с аудитом.
Часто задаваемые вопросы
Через A/B-эксперимент, а не через сравнение «до и после»: варианты работают одновременно на поделённой аудитории, поэтому сезон и конкуренты действуют на них одинаково. Правило одно — одна гипотеза, один параметр: две идентичные кампании, отличающиеся только тем, что вы проверяете. Делите аудиторию поровну и держите бюджеты пропорциональными выборкам. Выберите одну цель для конверсий — по умолчанию учитываются все. И тестируйте смелые изменения: при обычном объёме эксперимент доказывает только крупную разницу, а мелкие улучшения за разумный срок не отличить от шума. И не забудьте: остановленная кампания запустится сама, как только попадёт в эксперимент.
Не меньше, чем нужно на обучение кампаний и набор данных. Справка указывает, что каждой кампании нужно в среднем 7–14 дней на обучение, а для выводов — не меньше 10 конверсий в неделю на каждый вариант. При недельных бюджетах результаты стоит оценивать за полные календарные недели и не меньше чем за два бюджетных интервала. Если новая кампания сравнивается с давно работающей, тест нужно растянуть, например до четырёх недель, и смотреть последние недели. А чтобы доказать небольшую разницу, может понадобиться и несколько месяцев.
Она показывает, насколько надёжна разница между вариантами. Ячейка выделяется слабо, если p-value меньше 0,2, и ярко, если меньше 0,05. Простыми словами, p-value — это вероятность увидеть такую разницу случайно. При слабой подсветке примерно каждая пятая разница может оказаться случайностью, поэтому решения стоит принимать по яркой. Подсветка говорит о надёжности разницы, а не о её величине. Для конверсий и цены цели подсветка работает только по данным с 1 января 2025 года. И помните: вариант, который отчёт предлагает при завершении, выбран по величине изменения, а не по надёжности.
Напрямую — нет. Отчёт эксперимента строится на данных, доступных в Мастере отчётов, то есть видит рекламную статистику и цели, но не продажи из CRM. Чтобы сравнить варианты по деньгам, есть два пути. Первый — передавать оплаты в веб-аналитику и выбрать цель «оплата» как цель эксперимента, тогда отчёт покажет именно её. Второй — сверить сделки по кампаниям в CRM или в системе сквозной аналитики. Учтите, что оплат обычно меньше, чем заявок, поэтому и данных для надёжного вывода понадобится больше, а сам эксперимент придётся вести дольше.
Спасибо за заявку!
Мы свяжемся с вами в ближайшее время.
