Тестирование инкрементальности: Вывод маркетинговой атрибуции на новый уровень

В постоянно меняющемся ландшафте цифрового маркетинга точное измерение воздействия маркетинговых усилий становится все более сложным. Традиционные модели атрибуции, хотя и ценны, часто не обеспечивают истинной картины эффективности маркетинга. Именно здесь тестирование инкрементальности становится мощной методологией, которая выходит за рамки корреляции для установления причинно-следственной связи, помогая маркетологам определять, какие действия действительно приводят к результатам бизнеса.

Поскольку правила конфиденциальности ужесточаются, а сторонние файлы cookie находятся под угрозой устаревания, Attrisight признает, что маркетологам нужны более сложные подходы к пониманию маркетингового воздействия. В этом всеобъемлющем руководстве мы рассмотрим, как работает тестирование инкрементальности, как оно дополняет другие методы атрибуции и как эффективно внедрить его в вашу маркетинговую стратегию.

Понимание инкрементального тестирования: причинно-следственный подход к атрибуции

Что такое инкрементальное тестирование?

Тестирование инкрементальности — это научная методология измерения истинного причинно-следственного влияния маркетинговых мероприятий на результаты бизнеса. В отличие от традиционных моделей атрибуции, которые присваивают кредит на основе точек соприкосновения в пути клиента, тестирование инкрементальности изолирует чистый эффект конкретного маркетингового мероприятия, сравнивая результаты между тестовой группой (подвергшейся воздействию маркетинговых усилий) и контрольной группой (не подвергшейся воздействию).

Основной вопрос, на который отвечает тестирование инкрементальности: «Что бы произошло, если бы мы не провели эту маркетинговую деятельность?» Это выявляет истинную инкрементальную ценность — дополнительные конверсии, доход или другие желаемые результаты, которые возникли исключительно благодаря маркетинговой инициативе.

По словам Джонсона и др. (2017), тестирование инкрементальности обеспечивает «измерение истинного причинно-следственного воздействия рекламы, не зависящее от корреляции между воздействием рекламы и результатами, которые влияют на методы наблюдения».

Формула приращения

Основная формула расчета приращения:

Инкрементность = (Тест Конверсия Ставка - контроль Конверсия Ставка) / Тест Конверсия Тариф

Например, если у вашей тестовой группы коэффициент конверсии 1,5%, а у вашей контрольной группы коэффициент конверсии 0,5%:

Инкрементальность = (1.5% - 0.5%) / 1.5% = 66.7%

Это означает, что 66,7% конверсий в вашей тестовой группе были действительно вызваны тестируемой маркетинговой активностью, тогда как оставшиеся 33,3% произошли бы независимо от воздействия.

Ограничения традиционных моделей атрибуции

Традиционные модели атрибуции, такие как атрибуция по первому касанию, по последнему касанию и даже по множественным касаниям, сталкиваются с рядом ограничений, которые устраняет инкрементальное тестирование:

1. Корреляция против причинно-следственной связи: Модели атрибуции показывают корреляцию между точками соприкосновения и конверсиями, но не могут установить причинно-следственную связь.

2. Смещение отбора: Пользователи, которые видят рекламу, по своей сути более склонны к конверсии, независимо от того, насколько широко она была показана.

3. Предвзятость платформы: Модели атрибуции, ориентированные на платформы, обычно преувеличивают свое влияние, приписывая себе конверсии, которые произошли бы в любом случае.

4. Ограничения на использование файлов cookie: Отказ от сторонних файлов cookie и ужесточение правил конфиденциальности ограничивают эффективность традиционных методов атрибуции.

5. Канальные силосы: Отчеты каждого канала существуют изолированно, создавая фрагментированное представление об эффективности маркетинга.

Как отмечают Барахас и др. (2016) в своем исследовании экспериментальных разработок для атрибуции интернет-рекламы, «модели атрибуции, основанные исключительно на данных наблюдений, с трудом различают корреляцию и причинно-следственную связь, что может привести к принятию неоптимальных решений о распределении бюджета».

Тестирование инкрементальности в сравнении с другими подходами к измерению

Чтобы понять роль инкрементального тестирования в экосистеме маркетинговых измерений, давайте сравним его с другими распространенными подходами:

Как инкрементальное тестирование дополняет модели атрибуции

Тестирование инкрементальности не заменяет модели атрибуции — оно дополняет их, обеспечивая проверку истинности их результатов. Комплексная стратегия измерения может включать:

1. Модели атрибуции для ежедневной оптимизации и понимания клиентского опыта
2. Тестирование инкрементальности для проверки эффективности канала и принятия стратегических бюджетных решений
3. Моделирование маркетингового комплекса для долгосрочного планирования и понимания более широких рыночных эффектов

Как отмечают Льюис и Рао (2015) в своем исследовании по измерению отдачи от рекламы, «сочетание экспериментальных и наблюдательных методов дает наиболее полную картину эффективности рекламы».

Типы методологий тестирования инкрементальности

Существует несколько методологий реализации инкрементального тестирования, каждая из которых имеет свои сильные стороны и ограничения:

1. Тестирование по принципу «намерение лечить» (ITT)

Также известное как тестирование удержания аудитории, ITT подразумевает удержание рекламы от случайно выбранной части вашей целевой аудитории (контрольной группы). Оставшаяся аудитория (тестовая группа) получает рекламу как обычно.

Преимущества:

• Относительно легко реализовать
• Никаких дополнительных расходов сверх обычных рекламных расходов
• Может быть реализовано через большинство рекламных платформ

Недостатки:

• «Шумные» данные, когда многие пользователи в тестовой группе фактически не видят рекламу
• Для статистической значимости требуются большие размеры выборки.

2. Тестирование PSA (общественной рекламы)

В тестировании PSA контрольная группа получает некоммерческие объявления социальной службы вместо рекламы бренда. Это гарантирует, что обе группы будут подвержены какой-либо форме рекламы.

Преимущества:

• Уменьшает смещение выбора (обе группы видят рекламу)
• Создает более сопоставимые тестовые и контрольные группы

Недостатки:

• Дорого (оплата показов контрольной группы)
• Содержание социальной рекламы отличается от содержания бренда, что может привести к предвзятости

3. Реклама-призрак

Реклама-призрак — это сложный подход, при котором система доставки рекламы идентифицирует пользователей, которым должна была быть показана реклама, но вместо этого не показывает им ничего или показывает рекламу другого рекламодателя. Система регистрирует эти «показы-призраки» для анализа.

Преимущества:

• Устраняет шум, точно определяя, какие пользователи управления могли видеть рекламу
• Никаких дополнительных затрат на контрольные показы
• Уменьшение смещения отбора

Недостатки:

• Требуется интеграция с рекламными платформами
• Более сложная реализация

4. Призрачные торги

Призрачные ставки — это разновидность призрачных объявлений, специально разработанная для программной рекламы. Система размещает «призрачные ставки» для пользователей контрольной группы, фактически не выигрывая показы.

Преимущества:

• Более точный для кампаний ретаргетинга
• Значительно снижает уровень шума в данных.
• Экономически эффективно

Недостатки:

• Требуется глубокая техническая интеграция с системами торгов
• Ограничено программными каналами

5. Геоэксперименты

Геоэксперименты включают выбор географических областей в качестве тестовых и контрольных регионов, проведение кампаний в тестовых регионах и отказ от них в контрольных регионах.

Преимущества:

• Можно измерять воздействие по нескольким каналам одновременно
• Полезно для измерения офлайн- и онлайн-воздействий
• Хорошо подходит для многоканальных кампаний.

Недостатки:

• Требуются географические районы со схожими характеристиками
• Может зависеть от региональных переменных
• Для эффективности необходим значительный масштаб

Согласно исследованию, опубликованному Барахасом и соавторами (2021) в журнале ACM, расширенные методы тестирования инкрементальности с использованием фиктивных торгов могут сократить бюджет рекламодателя, необходимый для достижения статистической значимости, на величину до 85% по сравнению с традиционными методами.

Реализация инкрементального тестирования: пошаговое руководство

Реализация инкрементального тестирования требует тщательного планирования и выполнения. Вот структура для проведения эффективных инкрементальных тестов:

1. Определите четкие цели и гипотезы.

Начните с четкого определения того, что вы хотите протестировать и на какие вопросы вы пытаетесь ответить:

• Какой конкретный канал или кампанию вы тестируете?
• Какой ключевой показатель эффективности (KPI) вы измеряете?
• Какова ваша гипотеза о приросте?

Пример гипотезы: «Увеличение наших расходов на платный поиск по брендовым терминам на 30% приведет к увеличению числа конверсий с положительной рентабельностью инвестиций».

2. Разработайте эксперимент

План эксперимента имеет решающее значение для получения надежных результатов:

Расчет размера выборки: Определите минимальный размер выборки, необходимый для статистической значимости, на основе:

• Ожидаемые показатели конверсии
• Минимально обнаруживаемый размер эффекта
• Желаемый уровень достоверности (обычно 95%)
• Статистическая мощность (обычно 80%)

Стратегия рандомизации: Выберите подходящий подход к рандомизации:

• Рандомизация на уровне пользователя
• Географическая рандомизация
• Рандомизация по времени

Размер контрольной группы: Обычно контрольные группы варьируются от 10% до 50% от общей аудитории. Малым предприятиям могут потребоваться более крупные контрольные группы для достижения статистической значимости.

3. Создайте правильную инфраструктуру измерений

Убедитесь, что у вас есть правильные системы отслеживания и измерения:

• Настройте аналитические платформы для сегментации тестовых и контрольных групп
• Внедрите соответствующую маркировку для отслеживания конверсий
• Настройте панели мониторинга для мониторинга хода тестирования
• Рассмотрите возможность использования специализированных платформ для тестирования инкрементальности.

4. Проведите тест

При выполнении теста:

• Поддерживайте строгое разделение между тестовыми и контрольными группами.
• Проводите тест достаточно долго, чтобы охватить весь путь клиента.
• Избегайте внесения других существенных изменений в маркетинг в течение тестового периода.
• Отслеживайте любые аномалии или технические проблемы

5. Анализ результатов и извлечение информации

После завершения теста:

• Рассчитайте прирост, используя формулу, предоставленную ранее.
• Определить статистическую значимость (p-значение)
• Рассчитать доверительные интервалы
• Переводите результаты в бизнес-показатели (ROI, ROAS и т. д.)

6. Действуйте и повторяйте

По результатам теста:

• Скорректируйте бюджеты для каналов/кампаний с доказанной инкрементальностью
• Рассмотрите возможность сокращения каналов с низким приростом
• Разработать последующие эксперименты для дальнейшей оптимизации
• Внедрение непрерывных циклов тестирования

Практические примеры тестирования инкрементальности

Пример 1: Интернет-ритейлер оценивает влияние социальных сетей

Вызов: Средний по размеру розничный продавец электронной коммерции вкладывал значительные средства в рекламу в социальных сетях, но не был уверен в ее истинном влиянии, выходящем за рамки конверсий, о которых сообщает платформа.

Подход: Они внедрили тест на инкрементность с использованием фиктивных торгов в своих кампаниях на Facebook, выделив 20% своей аудитории в контрольную группу.

Результаты:

• Атрибуция платформы заявила о 4,5-кратной окупаемости инвестиций в рекламу
• Тестирование инкрементальности показало 2,2-кратный прирост ROAS
• 51% конверсий, связанных с платформой, произошли бы в любом случае
• Бренд снизил CPA на 30%, перераспределив бюджет на более эффективные рекламные группы.

Ключевое понимание: Отчеты платформы переоценили влияние кампании почти вдвое, что привело к неоптимальному распределению бюджета.

Пример 2: SaaS-компания разрешает конфликт атрибуции

Вызов: У компании B2B SaaS были противоречивые данные атрибуции между Google Analytics (которая учитывала органический поиск) и платными медиаплатформами (которые заявляли об одних и тех же конверсиях).

Подход: Они провели контрольное тестирование своих кампаний платного поиска по небрендовым терминам, временно приостановив кампании для случайно выбранных 30% своей целевой аудитории.

Результаты:

• Небрендовые поисковые запросы показали только 12% прирост
• Термины бренда показали 68% прирост
• Перераспределение бюджета с кампаний с низким приростом на кампании с высоким приростом увеличило общий объем лидов на 24%

Ключевое понимание: Многие из кликов по платным небрендовым поисковым объявлениям в любом случае привели бы к органическим кликам, что свидетельствует о значительной трате бюджета.

Пример 3: Тестирование инкрементальности выявляет истинное влияние медийной рекламы

Вызов: Страховая компания поставила под сомнение ценность медийной и нативной программной рекламы, которая показала низкую эффективность в отчетах об атрибуции последнего касания.

Подход: Они внедрили тестирование инкрементности фиктивных торгов во всех своих программных кампаниях, чтобы измерить истинное инкрементное воздействие.

Результаты:

• Атрибуция последнего касания недооценила дисплейную и нативную рекламу от 87%
• Кампании показали положительную приростную рентабельность инвестиций, несмотря на то, что в отчетах об атрибуции они выглядели неэффективными.
• Перераспределение бюджета на основе анализа инкрементальности увеличило общее количество конверсий на 31%

Ключевое понимание: Модели атрибуции существенно недооценили действия в верхней части воронки, которые влияли на конверсии, но не были последним звеном.

Проблемы и передовой опыт в инкрементальном тестировании

Общие проблемы

1. Статистическая значимость

Для достижения статистической значимости требуются достаточные размеры выборки, что может быть сложной задачей для предприятий с ограниченным трафиком или объемами конверсий.

Лучшая практика: Рассмотрите более длительные испытания, более крупные контрольные группы или сосредоточьтесь сначала на сегментах большего объема. Используйте надлежащий анализ мощности для определения минимально необходимых размеров выборки.

2. Тестовое загрязнение

Внешние факторы или изменения в других маркетинговых мероприятиях в течение тестового периода могут исказить результаты.

Лучшая практика: Установите «тестовое окно», в котором другие маркетинговые мероприятия остаются постоянными. Отслеживайте необычные внешние события и учитывайте их в анализе.

3. Смещение отбора

Пользователи, которые видят рекламу, могут по своей природе отличаться от тех, кто ее не видит, что приводит к предвзятости результатов.

Лучшая практика: По возможности используйте рандомизацию на уровне пользователя и рассмотрите продвинутые методы, такие как фантомные объявления, чтобы уменьшить смещение выбора.

4. Измерение на нескольких устройствах и платформах

Отслеживание пользователей на разных устройствах и платформах остается сложной задачей, особенно в условиях ужесточения ограничений конфиденциальности.

Лучшая практика: Рассмотрите вероятностные методы сопоставления, сосредоточьтесь на опыте входа в систему или используйте геоэксперименты, которые в меньшей степени зависят от отслеживания на уровне пользователя.

Лучшие практики для успешного тестирования инкрементальности

1. Начните с каналов с высоким уровнем воздействия

Начните тестирование инкрементности с каналов с самыми высокими расходами или наиболее стратегически важных каналов, чтобы получить максимально возможное влияние.

2. Внедрение непрерывных циклов тестирования

Вместо разовых тестов разработайте программу непрерывного поэтапного тестирования, учитывающую меняющиеся рыночные условия и поведение потребителей.

3. Тестирование на разных этапах воронки продаж

Не ограничивайте тестирование инкрементальности действиями в нижней части воронки. Тестируйте кампании в верхней части воронки, чтобы понять их истинный вклад в путь клиента.

4. Сочетание с другими подходами к измерению

Используйте тестирование инкрементальности как часть комплексной системы измерений, которая включает моделирование атрибуции и моделирование маркетингового комплекса.

5. Сосредоточьтесь на результатах бизнеса

Свяжите результаты прироста с фактическими бизнес-результатами, такими как прибыль, пожизненная ценность клиента и доля рынка, а не только с показателями конверсии или показателями кликов.

Будущее инкрементального тестирования

Поскольку ландшафт маркетинговых измерений продолжает развиваться, несколько тенденций формируют будущее инкрементального тестирования:

1. Методы инкрементации, ориентированные на конфиденциальность

С ужесточением правил конфиденциальности и отказом от сторонних файлов cookie появляются новые подходы к тестированию инкрементальности, которые не полагаются на отслеживание на уровне пользователя. К ним относятся улучшенные методологии геоэкспериментирования и подходы к федеративному обучению.

2. Анализ инкрементальности с использованием ИИ

Алгоритмы машинного обучения улучшают тестирование инкрементальности за счет:

• Определение оптимальных дизайнов испытаний
• Обнаружение закономерностей в зашумленных данных
• Прогнозирование приращения в непроверенных сегментах
• Автоматизация анализа и интерпретации результатов

3. Интегрированные системы измерений

Будущее за унифицированными подходами к измерению, которые сочетают инкрементальное тестирование с моделированием атрибуции и моделированием маркетингового комплекса для предоставления полной картины эффективности маркетинга.

Как отмечают Гордон и др. (2019) в своем исследовании, сравнивающем подходы к измерению в Facebook, «наиболее надежные выводы получаются путем триангуляции нескольких методологий измерения, каждая из которых имеет свои сильные стороны и предвзятость».

4. Анализ прироста в реальном времени

Достижения в области обработки данных и экспериментального проектирования позволяют перевести тестирование инкрементальности из разряда периодических экспериментов в разряд непрерывных измерений инкрементальности в режиме, близком к реальному времени.

Заключение: повышение уровня атрибуции с помощью инкрементального тестирования

В сегодняшней сложной маркетинговой экосистеме понимание истинного воздействия ваших маркетинговых усилий важнее и сложнее, чем когда-либо. Традиционные модели атрибуции предоставляют ценную информацию, но не способны установить причинно-следственную связь между маркетинговыми мероприятиями и результатами бизнеса.

Тестирование инкрементальности заполняет этот пробел, применяя научный экспериментальный дизайн к маркетинговым измерениям, позволяя вам однозначно ответить на вопрос: «Что бы произошло, если бы мы не провели эту маркетинговую деятельность?»

Включив тестирование инкрементальности в свою стратегию измерений, вы сможете:

1. Принимайте более обоснованные решения о распределении бюджета на основе доказанного причинно-следственного влияния
2. Подтвердите или оспорьте выводы, полученные с помощью моделей атрибуции
3. Определите, какие аудитории, каналы и кампании приносят действительно дополнительные результаты.
4. Получите более точное представление об эффективности маркетинга в вашей организации.

Поскольку правила конфиденциальности ужесточаются, а традиционные методы атрибуции сталкиваются с растущими ограничениями, тестирование инкрементальности становится неотъемлемым компонентом сложных фреймворков маркетинговых измерений. Освоив этот подход сейчас, вы будете в хорошей позиции для сохранения возможностей измерения и конкурентного преимущества в будущем, где конфиденциальность превыше всего.

Готовы ли вывести свою атрибуцию на новый уровень с помощью инкрементального тестирования? Attrisight предлагает решения, разработанные для измерения с соблюдением конфиденциальности, которые решают проблемы, обсуждаемые в этой статье. Изучите наши атрибуция с несколькими касаниями возможности и узнайте, как наши подход, ориентированный на конфиденциальность может помочь вам реализовать эффективное инкрементальное тестирование.

Академические ссылки

1. Барахас, Дж., Акелла, Р., Холтан, М. и Флорес, А. (2016). «Экспериментальные разработки и оценка атрибуции онлайн-рекламы на торговых площадках». Marketing Science, 35(3), 465-483.

2. Барахас, Дж., Бхамидипати, Н. и Шанахан, Дж. (2021). «Тестирование инкрементальности в программной рекламе: повышенная точность с двойным слепым дизайном». Труды веб-конференции 2021 г., 3053–3061.

3. Гордон, Б. Р., Цеттельмейер, Ф., Бхаргава, Н. и Чапски, Д. (2019). «Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook». Marketing Science, 38(2), 193-225.

4. Джонсон, GA, Льюис, RA и Нуббемейер, EI (2017). «Реклама-призрак: улучшение экономики измерения эффективности онлайн-рекламы». Журнал маркетинговых исследований, 54(6), 867-884.

5. Льюис, Р. А. и Рао, Дж. М. (2015). «Неблагоприятная экономика измерения отдачи от рекламы». Ежеквартальный журнал экономики, 130(4), 1941-1973.

6. Ли, Х. и Каннан, П.К. (2014). «Атрибуция конверсий в многоканальной среде онлайн-маркетинга: эмпирическая модель и полевой эксперимент». Журнал маркетинговых исследований, 51(1), 40-56.

7. Берман, Р. (2018). «За пределами последнего прикосновения: атрибуция в интернет-рекламе». Marketing Science, 37(5), 771-792.