Видение процесса А/Б тестов

Если мы на входе (сразу сделали видео) и получили CTR <10%, то действуем по алгоритму ниже:

• меняем креативы большими мазками (тест сразу много гипотез в одном (баба+текст+фон)

Если мы на входе (сразу сделали видео) и получили CTR 10%+, то действуем по алгоритму ниже:

• Тестируем только конкретные гипотезы в одном А/Б тесте (Наклон тюбика, цвет фона, шрифт, расположение текста и тд) Стараемся уходить от тестов, когда одна картинка кардинально сильно изменена относительно старой. Это не репрезентативно.

Для проведения репрезентативного теста необходимо узнать, какое кол-во показов нужно пролить для А и для Б варианта, для этого пользуемся калькулятором (ссылка)

Например, для 2 вариантов изображений, где средний исторический CTR был 2%, а мы хотим за счет какого то изменения в дизайне прирасти на 1% нам нужно по 3000 просмотров каждого варианта

• Ключевые метрики для отслеживания CTR, среднее время просмотра. Смотрим сразу на все 2 метрики, так как CTR может не измениться, а вот время просмотра могут вырасти даже из-за обложки
• После получения результатов теста, важно фиксировать все свойства почему результат “B” лучше результата “А”. Делать это мы будем в Notion у контент менеджера соответствующий раздел “А/Б тесты”, куда он будет фиксировать результаты. Также результатами будем делиться и с дизайнерами, чтобы их mind set настраивался на более CTR изображения и они лучше понимали на что люди кликают чаще, а на что реже.
• Следим за тем, чтобы обложка соответствовала содержанию. Если мы что-то обещаем на заглавном изображении важно, чтобы это сбывалось. Иначе на дистанции CTR начнет падать из-за тех пользователей, которые разочаровались.

Процесс с точки зрения отчетности в Notion

У контент менеджера есть отдельное пространство для тестирования обложек в ноушн. Данное пространство делится на под-пространство. каждое под-пространство соответствует названию ролика. В каждом пространстве есть пространство с каждой итерацией

Делаем А/Б тест, создаем пространство, называем его “ 1%→2%/ №1/04.06.2024 ” Внутри этого пространства 2 изображения “до” и “после” соответственно + короткое описание:

• какая была гипотеза (что меняли, фон, расположение банки или шрифт)