Аудит автостратегий: 6 признаков слепого обучения

Две поломки — видимая и невидимая

Первая поломка известна: стратегия не выходит из обучения, показатели скачут, статус тревожный. Её замечают быстро, потому что она себя проявляет — плохой отчёт, нестабильные цифры, явные сигналы тревоги.

Вторая устроена принципиально иначе. Стратегия обучилась, вышла на стабильный CPA, статус нормальный. Отчёт хороший. Проблема в том, на чём она обучилась. Буксующую стратегию замечают за неделю-две. Слепую — месяцами или никогда.

Почему вторая опаснее: буксующая стратегия не тратит эффективно, но и не масштабирует ошибку. Слепая — масштабирует. Чем дольше она работает, тем увереннее закрепляет неверное направление. И есть отдельный эффект: хороший отчёт становится основанием увеличить бюджет. Слепое обучение поощряется ровно тогда, когда его надо останавливать.

Что алгоритм видит — и чего не видит

Алгоритм оперирует ограниченным набором данных. Всё, что за его пределами, для него не существует — не «менее важно», а не существует вовсе.

Он видит: факт события, которое вы обозначили конверсией; стоимость этого события; признаки контекста — где показано, кому, когда, с каким объявлением.

Он не видит, если вы не передали: дошла ли заявка до сделки, сколько денег она принесла, была ли она вообще целевой, что произошло после клика вне сайта.

Следствие простое: алгоритм строит модель того, кто совершает событие. Если событие и деньги совпадают — модель полезна. Если расходятся — модель точна и бесполезна одновременно. Почему это не решается «выбором правильной цели»? Даже корректно выбранная цель — например, отправка формы — не различает заявку на миллион и заявку от студента, пишущего диплом. Различение приходит только из данных о результате.

Карта зрения алгоритма: как читать признаки

Для каждого из шести признаков — две стороны: что видит алгоритм и что происходит на самом деле. Если между ними расхождение и вы не можете его измерить — это слепая зона.

Считаются не проблемы, а слепые зоны. Вывод в конце — не «сколько ошибок», а насколько можно доверять отчёту. Чтобы обнаружить проблему без симптомов, нужно сравнить две картины: что видит алгоритм и что происходит на самом деле.

Разбор: лучший CPA при убытке

Рассмотрим модельный пример — для демонстрации механики, не как бенчмарк. Кампания услуг, бюджет 400 000 ₽ в месяц. Стратегия работает штатно, вышла из обучения.

Алгоритм видит три источника: автотаргет (232 000 ₽, 212 конверсий, CPA 1 094 ₽), заданные условия (120 000 ₽, 96 конверсий, CPA 1 250 ₽) и ретаргетинг (48 000 ₽, 32 конверсии, CPA 1 500 ₽). CPA различается всего в 1.37 раза. С точки зрения алгоритма автотаргет — лучший источник, и он направляет туда 58% бюджета. Решение логичное и по имеющимся данным правильное.

Теперь смотрим на реальность при марже сделки 18 000 ₽. Доходимость до сделки у автотаргета — 4%, у заданных условий — 13%, у ретаргетинга — 16%. Цена сделки различается в 2.9 раза при разнице CPA в 1.37 раза. И источник с лучшим CPA приносит убыток 79 360 ₽ в месяц при том, что заданные условия дают прибыль 104 640 ₽.

Алгоритм не ошибся. Он направил бюджет туда, где события дешевле. Просто события и деньги оказались не связаны — а этой связи он не видел.

Прирост берётся не из денег и не из настроек стратегии, а из того, что алгоритм получил недостающие данные. Слепота — это не ошибка настройки, это отсутствие информации. Важная оговорка: перераспределение не линейно — CPA растёт при увеличении расхода на источник, предельный трафик дороже, а ретаргетинг ограничен ёмкостью аудитории. Расчёт показывает направление и порядок величины, а не гарантию.