증분성 테스트: 마케팅 어트리뷰션의 수준을 한 단계 끌어올리기

끊임없이 진화하는 디지털 마케팅 환경에서 마케팅 활동의 효과를 정확하게 측정하는 것은 점점 더 복잡해지고 있습니다. 기존의 기여 모델은 가치는 있지만, 마케팅 효과를 제대로 보여주는 데는 종종 부족합니다. 바로 이러한 상황에서 증분성 테스트가 상관관계를 넘어 인과관계를 규명하는 강력한 방법론으로 부상하여 마케터가 어떤 활동이 진정한 비즈니스 성과를 창출하는지 판단하는 데 도움을 줍니다.

개인정보 보호 규정이 강화되고 타사 쿠키가 더 이상 사용되지 않게 됨에 따라 애트리사이트 마케터가 마케팅 효과를 이해하기 위해 더욱 정교한 접근 방식이 필요하다는 점을 인지하고 있습니다. 이 종합 가이드에서는 증분성 테스트의 작동 방식, 다른 기여 분석 방법을 보완하는 방법, 그리고 마케팅 전략에 증분성 테스트를 효과적으로 구현하는 방법을 살펴보겠습니다.

증분성 테스트 이해: 귀인에 대한 인과적 접근 방식

증분 테스트란 무엇인가요?

증분성 테스트는 마케팅 활동이 비즈니스 성과에 미치는 진정한 인과적 영향을 측정하는 과학적 방법론입니다. 고객 여정의 접점을 기반으로 기여도를 부여하는 기존 기여 모델과 달리, 증분성 테스트는 마케팅 활동에 노출된 테스트 그룹과 노출되지 않은 대조군의 결과를 비교하여 특정 마케팅 활동의 순효과를 분리합니다.

증분성 테스트를 통해 답해야 할 근본적인 질문은 "이 마케팅 활동을 실행하지 않았다면 어떤 일이 일어났을까?"입니다. 이를 통해 진정한 증분 가치, 즉 마케팅 이니셔티브 덕분에 발생한 추가 전환, 수익 또는 기타 원하는 결과가 드러납니다.

Johnson et al.(2017)에 따르면 증분성 테스트는 "관찰 방법에 영향을 미치는 광고 노출과 결과 간의 상관관계에 의해 편향되지 않은 광고의 진정한 인과적 영향을 측정"합니다.

증분성 공식

증분성을 계산하는 기본 공식은 다음과 같습니다.

증분성 = (테스트 변환 속도 제어 변환 평가) / 테스트 변환 비율

예를 들어, 테스트 그룹의 전환율이 1.5%이고 대조군의 전환율이 0.5%인 경우:

증분성 = (1.5% - 0.5%) / 1.5% = 66.7%

즉, 테스트 그룹에서 전환의 66.7%는 테스트 중인 마케팅 활동으로 인해 실제로 발생했고, 나머지 33.3%는 노출과 관계없이 발생했음을 의미합니다.

기존 귀속 모델의 한계

첫 번째 접점, 마지막 접점, 심지어 다중 접점 귀속과 같은 기존 귀속 모델은 증분성 테스트에서 다루는 몇 가지 한계에 직면합니다.

1. 상관관계 대 인과관계: 귀속 모델은 터치포인트와 전환 간의 상관관계를 보여주지만 인과관계를 확립할 수는 없습니다.

2. 선택 편향: 광고를 보는 사용자는 광고 노출 여부와 관계없이 본질적으로 전환 가능성이 더 높습니다.

3. 플랫폼 편향: 플랫폼별 귀속 모델은 어차피 발생했을 전환에 대한 공을 차지함으로써 일반적으로 영향을 과장합니다.

4. 쿠키 제한: 타사 쿠키의 사용 중단과 개인정보 보호 규정의 강화로 인해 기존 귀속 방법의 효과가 제한되고 있습니다.

5. 채널 사일로: 각 채널의 보고가 격리되어 있어 마케팅 성과에 대한 단편적인 관점이 생깁니다.

Barajas et al.(2016)이 온라인 광고 귀속을 위한 실험 설계에 대한 연구에서 언급했듯이, "관찰 데이터에만 기반한 귀속 모델은 상관관계와 인과관계를 구분하는 데 어려움을 겪으며, 이로 인해 최적이 아닌 예산 배분 결정이 내려질 가능성이 있습니다."

증분성 테스트 vs. 기타 측정 접근 방식

증분성 테스트가 마케팅 측정 생태계에서 어떤 역할을 하는지 이해하기 위해 다른 일반적인 접근 방식과 비교해 보겠습니다.

증분성 테스트가 귀속 모델을 보완하는 방식

증분성 테스트는 귀인 모델을 대체하는 것이 아니라, 귀인 모델의 결과에 대한 사실 확인을 제공함으로써 귀인 모델을 보완합니다. 포괄적인 측정 전략에는 다음이 포함될 수 있습니다.

1. 귀속 모델 일상적인 최적화 및 고객 여정 이해를 위해
2. 증분성 테스트 채널 효과 검증 및 전략적 예산 결정
3. 마케팅 믹스 모델링 장기 계획 및 더 광범위한 시장 효과 이해를 위해

Lewis와 Rao(2015)가 광고 수익 측정에 관한 연구에서 관찰한 바와 같이, "실험적 방법과 관찰 방법을 결합하면 광고 효과에 대한 가장 완벽한 그림을 얻을 수 있습니다."

증분성 테스트 방법론의 유형

증분성 테스트를 구현하기 위한 여러 가지 방법론이 있으며, 각각 고유한 장점과 한계가 있습니다.

1. 치료 의도(ITT) 테스트

잠재고객 홀드아웃 테스트라고도 하는 ITT는 타겟 고객 중 무작위로 선택된 일부(통제 그룹)에게는 광고를 제공하지 않고, 나머지 고객(테스트 그룹)에게는 평소처럼 광고를 노출하는 방식입니다.

장점:

• 구현하기 비교적 쉽습니다
• 일반 광고 지출 외에 추가 비용 없음
• 대부분의 광고 플랫폼을 통해 구현 가능

단점:

• 테스트 그룹의 많은 사용자가 실제로 광고에 노출되지 않은 경우 "노이즈" 데이터가 발생합니다.
• 통계적 유의성을 위해서는 큰 표본 크기가 필요합니다.

2. PSA(공익광고) 테스트

PSA 테스트에서 대조군은 브랜드 광고 대신 비상업적인 공익광고를 받습니다. 이를 통해 두 집단 모두 어떤 형태로든 광고에 노출됩니다.

장점:

• 선택 편향 감소(두 그룹 모두 광고 시청)
• 더욱 비교 가능한 테스트 및 대조군을 생성합니다.

단점:

• 비용이 많이 듭니다(대조군 인상에 대한 비용 지불)
• PSA 콘텐츠는 브랜드 콘텐츠와 다르므로 편견이 생길 가능성이 있습니다.

3. 고스트 광고

고스트 광고는 광고 게재 시스템이 광고를 볼 수 있는 사용자를 식별하여 아무것도 보여주지 않거나 다른 광고주의 광고를 보여주는 정교한 방식입니다. 시스템은 이러한 "고스트 노출"을 분석 목적으로 기록합니다.

장점:

• 어떤 컨트롤 사용자가 광고를 보았을지 정확하게 식별하여 노이즈를 제거합니다.
• 제어 인상에 대한 추가 비용 없음
• 선택 편향 감소

단점:

• 광고 플랫폼과의 통합이 필요합니다
• 더 복잡한 구현

4. 고스트 비딩

고스트 입찰은 프로그래매틱 광고를 위해 특별히 설계된 고스트 광고의 한 형태입니다. 이 시스템은 실제로 노출을 확보하지 않고도 대조군 사용자에게 "고스트 입찰"을 합니다.

장점:

• 리타겟팅 캠페인에 대한 더욱 정확한 정보 제공
• 데이터의 노이즈를 크게 줄입니다.
• 비용 효율적

단점:

• 입찰 시스템과의 심층적인 기술적 통합이 필요합니다.
• 프로그래밍 채널로 제한됨

5. 지구 실험

지리적 실험은 테스트 및 통제 지역으로 지리적 구역을 선택하고, 통제 지역에서는 캠페인을 보류하고 테스트 지역에서는 캠페인을 실행하는 것을 포함합니다.

장점:

• 여러 채널에 걸쳐 동시에 영향을 측정할 수 있습니다.
• 오프라인 및 온라인 영향 측정에 유용
• 옴니채널 캠페인에 적합합니다.

단점:

• 유사한 특성을 지닌 지리적 영역이 필요합니다.
• 지역 변수의 영향을 받을 수 있음
• 효과적이려면 상당한 규모가 필요합니다.

Barajas et al.(2021)이 ACM 저널에 발표한 연구에 따르면, 고스트 입찰을 활용한 고급 증분성 테스트 방법은 통계적 유의성에 도달하는 데 필요한 광고주 예산을 기존 방법에 비해 최대 85%까지 줄일 수 있습니다.

증분성 테스트 구현: 단계별 가이드

증분성 테스트를 구현하려면 신중한 계획과 실행이 필요합니다. 효과적인 증분성 테스트를 수행하기 위한 프레임워크는 다음과 같습니다.

1. 명확한 목표와 가설을 정의하세요

먼저, 무엇을 테스트하고 싶은지, 어떤 질문에 답하고 싶은지 명확하게 정의하세요.

• 어떤 특정 채널이나 캠페인을 테스트하고 있나요?
• 측정하고 있는 핵심 성과 지표(KPI)는 무엇입니까?
• 당신이 가정한 증분성은 무엇입니까?

가설 예시: "브랜드 용어에 대한 유료 검색 지출을 30%만큼 늘리면 긍정적인 ROI와 함께 증가된 전환이 발생할 것입니다."

2. 실험 설계

실험 설계는 신뢰할 수 있는 결과를 생성하는 데 중요합니다.

표본 크기 계산: 통계적 유의성에 필요한 최소 표본 크기를 다음을 기준으로 결정합니다.

• 예상 전환율
• 최소 감지 가능 효과 크기
• 원하는 신뢰 수준(일반적으로 95%)
• 통계적 능력(일반적으로 80%)

무작위화 전략: 적절한 무작위화 접근 방식을 선택하세요.

• 사용자 수준 무작위화
• 지리적 무작위화
• 시간 기반 무작위화

대조군 크기: 일반적으로 대조군은 전체 대상자의 10%에서 50% 사이입니다. 소규모 사업체의 경우 통계적 유의성을 확보하기 위해 더 큰 규모의 대조군이 필요할 수 있습니다.

3. 적절한 측정 인프라 구축

올바른 추적 및 측정 시스템이 구축되어 있는지 확인하세요.

• 테스트 및 제어 그룹을 세분화하기 위해 분석 플랫폼을 구성합니다.
• 전환 추적을 위한 적절한 태그 구현
• 테스트 진행 상황을 모니터링하기 위한 대시보드 설정
• 전문화된 증분성 테스트 플랫폼 사용을 고려하세요

4. 테스트 실행

테스트를 실행할 때:

• 테스트 그룹과 대조군을 엄격하게 분리하십시오.
• 전체 고객 여정을 포착할 수 있을 만큼 충분히 오랫동안 테스트를 실행하세요.
• 테스트 기간 동안 다른 중요한 마케팅 변경을 하지 마십시오.
• 이상이나 기술적 문제가 있는지 모니터링합니다.

5. 결과 분석 및 통찰력 추출

테스트가 끝난 후:

• 이전에 제공된 공식을 사용하여 증분성을 계산합니다.
• 통계적 유의성(p-값) 결정
• 신뢰 구간 계산
• 결과를 비즈니스 지표(ROI, ROAS 등)로 변환합니다.

6. 조치를 취하고 반복하세요

테스트 결과에 따르면:

• 입증된 증분성을 통해 채널/캠페인에 대한 예산을 조정합니다.
• 증분성이 낮은 채널 축소를 고려하세요
• 추가 최적화를 위한 후속 실험 설계
• 지속적인 테스트 주기를 구현합니다

실제 증분성 테스트 사례 연구

사례 연구 1: 전자상거래 소매업체, 소셜 미디어 영향 평가

도전: 중간 규모의 전자상거래 소매업체는 소셜 미디어 광고에 많은 투자를 했지만 플랫폼에서 보고된 전환율 외에 실제 효과가 무엇인지 확신하지 못했습니다.

접근하다: 그들은 페이스북 캠페인에 고스트 입찰을 이용한 증분성 테스트를 시행하여 대상 고객 중 20%를 통제 그룹에 할당했습니다.

결과:

• 플랫폼 귀속은 ROAS가 4.5배라고 주장했습니다.
• 증분성 테스트에서 2.2배의 증분 ROAS가 확인되었습니다.
• 어쨌든 플랫폼에 기인한 전환의 51%가 발생했을 것입니다.
• 이 브랜드는 예산을 성과가 더 좋은 광고 세트에 재할당하여 CPA를 30%만큼 줄였습니다.

주요 통찰력: 플랫폼 보고는 캠페인의 영향을 거의 두 배나 과대평가하여 예산 배분이 최적화되지 못했습니다.

사례 연구 2: SaaS 회사의 귀속 충돌 해결

도전: B2B SaaS 회사의 Google Analytics(자연 검색을 인정)와 유료 미디어 플랫폼(동일한 전환을 주장) 간에 상충되는 귀속 데이터가 있었습니다.

접근하다: 그들은 브랜드가 없는 용어에 대한 유료 검색 캠페인에 대한 홀드아웃 테스트를 실시하여 대상 고객 중 무작위로 선택된 30%에 대한 캠페인을 일시적으로 중단했습니다.

결과:

• 비브랜드 검색어는 12% 증분성만 나타냈습니다.
• 브랜드 용어는 68% 증분성을 나타냈습니다.
• 저증분형 캠페인에서 고증분형 캠페인으로 예산을 전환하면 전체 리드 볼륨이 24%만큼 증가했습니다.

주요 통찰력: 브랜드가 없는 유료 검색 클릭의 대부분은 어차피 유기적 클릭으로 이어졌을 텐데, 이는 상당한 예산 낭비를 드러냈습니다.

사례 연구 3: 증분성 테스트를 통해 디스플레이 광고의 진정한 효과를 확인

도전: 한 보험 제공업체는 마지막 접점 속성 보고서에서 성과가 좋지 않은 것으로 나타난 디스플레이 및 네이티브 프로그래매틱 광고의 가치에 의문을 제기했습니다.

접근하다: 그들은 프로그래밍 캠페인 전반에 걸쳐 유령 입찰 증분성 테스트를 구현하여 실제 증분적 영향을 측정했습니다.

결과:

• 87%는 마지막 터치 어트리뷰션이 디스플레이 및 네이티브 광고를 과소평가했다고 밝혔습니다.
• 캠페인은 귀속 보고서에서 효과가 없는 것으로 나타났음에도 불구하고 긍정적인 증가 ROI를 보였습니다.
• 증분성 통찰력을 기반으로 한 예산 재할당으로 총 전환율이 31% 증가했습니다.

주요 통찰력: 귀속 모델은 전환에 영향을 주지만 마지막 단계는 아닌 상위 퍼널 활동을 상당히 과소평가했습니다.

증분 테스트의 과제와 모범 사례

일반적인 과제

1. 통계적 유의성

통계적 유의성을 얻으려면 충분한 표본 크기가 필요한데, 이는 트래픽이나 전환량이 제한적인 기업의 경우 어려울 수 있습니다.

모범 사례: 더 긴 시험 기간, 더 큰 대조군, 또는 더 많은 양의 데이터를 분석하는 세그먼트에 먼저 집중하는 것을 고려하세요. 적절한 검정력 분석을 사용하여 필요한 최소 표본 크기를 결정하세요.

2. 오염 테스트

테스트 기간 동안 외부 요인이나 다른 마케팅 활동의 변화로 인해 결과가 달라질 수 있습니다.

모범 사례: 다른 마케팅 활동이 동일하게 유지되는 "테스트 기간"을 설정하세요. 비정상적인 외부 이벤트를 모니터링하고 분석에 반영하세요.

3. 선택 편향

광고를 보는 사용자는 광고를 보지 않는 사용자와 본질적으로 다르므로 결과에 편향이 생길 수 있습니다.

모범 사례: 가능하다면 사용자 수준에서 무작위성을 사용하고, 고스트 광고와 같은 고급 방법을 고려하여 선택 편향을 줄이세요.

4. 다양한 기기 및 플랫폼에서의 측정

여러 기기와 플랫폼에서 사용자를 추적하는 일은 여전히 어려운 일이며, 특히 개인정보 보호 제한이 강화됨에 따라 더욱 그렇습니다.

모범 사례: 확률적 매칭 방법을 고려하고, 로그인 경험에 집중하거나, 사용자 수준 추적에 덜 의존하는 지리적 실험을 활용하세요.

성공적인 증분 테스트를 위한 모범 사례

1. 영향력이 큰 채널부터 시작하세요

가장 큰 잠재적 효과를 실현하려면 지출이 가장 많거나 전략적으로 가장 중요한 채널부터 증분성 테스트를 시작하세요.

2. 지속적인 테스트 주기를 구현하세요

일회성 테스트보다는 변화하는 시장 상황과 소비자 행동을 반영하여 지속적인 증분 테스트 프로그램을 수립하세요.

3. 다양한 퍼널 단계에서 테스트

증분성 테스트를 하위 퍼널 활동에만 국한하지 마세요. 상위 퍼널 캠페인을 테스트하여 고객 여정에 미치는 진정한 기여도를 파악하세요.

4. 다른 측정 접근 방식과 결합

귀속 모델링과 마케팅 믹스 모델링을 포함하는 포괄적인 측정 프레임워크의 일부로 증분성 테스트를 활용하세요.

5. 비즈니스 결과에 집중하세요

증분성 결과를 수익, 고객 생애 가치, 시장 점유율과 같은 실제 비즈니스 성과와 연결하세요. 단순히 전환율이나 클릭률만 보여주는 것이 아닙니다.

증분성 테스트의 미래

마케팅 측정 환경이 계속해서 발전함에 따라, 몇 가지 추세가 증분성 테스트의 미래를 형성하고 있습니다.

1. 개인 정보 보호 우선 증분 방식

개인정보 보호 규정이 강화되고 타사 쿠키 사용이 중단됨에 따라, 사용자 수준 추적에 의존하지 않는 새로운 증분성 테스트 방식이 등장하고 있습니다. 여기에는 향상된 지리 실험 방법론과 연합 학습 방식이 포함됩니다.

2. AI 기반 증분 분석

머신 러닝 알고리즘은 다음과 같은 방법으로 증분성 테스트를 향상시킵니다.

• 최적의 테스트 설계 식별
• 노이즈가 있는 데이터의 패턴 감지
• 테스트되지 않은 세그먼트에 대한 증분성 예측
• 결과 분석 및 해석 자동화

3. 통합 측정 프레임워크

미래는 증분적 테스트와 귀속 모델링, 마케팅 믹스 모델링을 결합한 통합 측정 접근 방식으로, 이를 통해 마케팅 효과에 대한 완벽한 그림을 제공하는 데 달려 있습니다.

Gordon et al.(2019)이 Facebook의 측정 접근 방식을 비교한 연구에서 언급했듯이 "가장 강력한 통찰력은 각기 다른 강점과 편향을 지닌 여러 측정 방법론을 삼각 측량하여 얻을 수 있습니다."

4. 실시간 증분성 통찰력

데이터 처리 및 실험 설계의 발전으로 증분성 테스트가 주기적 실험에서 지속적이고 거의 실시간 증분성 측정으로 바뀌고 있습니다.

결론: 증분성 테스트를 통한 귀속성 향상

오늘날의 복잡한 마케팅 생태계에서 마케팅 활동의 진정한 효과를 이해하는 것은 그 어느 때보다 중요하면서도 어렵습니다. 기존의 기여 모델은 귀중한 인사이트를 제공하지만, 마케팅 활동과 비즈니스 성과 간의 인과관계를 명확히 규명하는 데는 부족합니다.

증분성 테스트는 과학적 실험 설계를 마케팅 측정에 적용하여 이러한 차이를 메우고, "이 마케팅 활동을 실행하지 않았다면 무슨 일이 일어났을까?"라는 질문에 확실하게 답할 수 있도록 해줍니다.

측정 전략에 증분성 테스트를 통합하면 다음과 같은 이점을 얻을 수 있습니다.

1. 입증된 인과관계를 기반으로 보다 정확한 예산 배분 결정을 내리세요.
2. 귀속 모델의 결과를 검증하거나 이의를 제기합니다.
3. 진정한 증분적 결과를 제공하는 대상, 채널 및 캠페인을 식별합니다.
4. 조직 전체의 마케팅 효과에 대한 보다 정확한 이해를 구축하세요

개인정보 보호 규제가 강화되고 기존 어트리뷰션 방식이 점차 한계에 직면함에 따라, 증분성 테스트는 정교한 마케팅 측정 프레임워크의 필수 구성 요소가 되고 있습니다. 지금 이 접근 방식을 숙지하면 개인정보 보호가 최우선시되는 미래에서 측정 역량과 경쟁 우위를 유지할 수 있는 유리한 위치에 서게 될 것입니다.

증분성 테스트를 통해 귀사의 귀속을 한 단계 더 발전시킬 준비가 되셨나요? 애트리사이트 본 문서에서 논의된 과제를 해결하는 개인정보 보호 측정을 위해 설계된 솔루션을 제공합니다. 멀티터치 속성 우리의 역량을 알아보고 개인 정보 보호 우선 접근 방식 효과적인 증분성 테스트를 구현하는 데 도움이 될 수 있습니다.

학술 참고문헌

1. Barajas, J., Akella, R., Holtan, M., & Flores, A. (2016). "마켓플레이스에서 온라인 디스플레이 광고 귀속을 위한 실험 설계 및 추정." 마케팅 과학, 35(3), 465-483.

2. Barajas, J., Bhamidipati, N., & Shanahan, J. (2021). "프로그래밍 광고에서의 증분성 테스트: 이중 맹검 디자인을 통한 정확도 향상." 웹 컨퍼런스 논문집 2021, 3053-3061.

3. Gordon, BR, Zettelmeyer, F., Bhargava, N., & Chapsky, D. (2019). "광고 측정 접근 방식 비교: Facebook의 대규모 현장 실험에서 얻은 증거." 마케팅 과학, 38(2), 193-225.

4. Johnson, GA, Lewis, RA, & Nubbemeyer, EI (2017). "유령 광고: 온라인 광고 효과 측정의 경제성 개선." 마케팅 연구 저널, 54(6), 867-884.

5. Lewis, RA, & Rao, JM (2015). "광고 수익 측정의 불리한 경제학." 경제학 분기별 저널, 130(4), 1941-1973.

6. Li, H., & Kannan, PK (2014). "다중채널 온라인 마케팅 환경에서의 전환 기여도: 경험적 모델과 현장 실험." 마케팅 연구 저널, 51(1), 40-56.

7. Berman, R. (2018). "마지막 터치 너머: 온라인 광고에서의 귀속." 마케팅 과학, 37(5), 771-792.