增量测试：让营销归因更上一层楼

在不断发展的数字营销格局中，准确衡量营销工作的效果变得越来越复杂。传统的归因模型虽然很有价值，但往往无法真实地反映营销效果。这时，增量测试应运而生，它是一种强大的方法，它超越了相关性，建立了因果关系，帮助营销人员确定哪些活动真正推动了业务成果。

随着隐私法规的加强和第三方 Cookie 面临弃用， 视力 认识到营销人员需要更复杂的方法来理解营销影响。在本指南中，我们将探讨增量测试的工作原理、它如何与其他归因方法相辅相成，以及如何在您的营销策略中有效地实施它。

理解增量测试：归因的因果方法

什么是增量测试？

增量测试是一种科学方法，用于衡量营销活动对业务成果的真正因果影响。与基于客户旅程中接触点分配功劳的传统归因模型不同，增量测试通过比较测试组（接受营销活动）和对照组（未接受营销活动）的结果，来分离特定营销活动的净效应。

增量测试回答的基本问题是：“如果我们没有开展这项营销活动，会发生什么？”这揭示了真正的增量价值——仅仅因为营销活动而产生的额外转化、收入或其他期望结果。

根据 Johnson 等人 (2017) 的研究，增量测试提供了“衡量广告真实因果影响的指标，不受观察方法所影响的广告曝光与结果之间的相关性的影响”。

增量公式

计算增量的基本公式是：

增量=（测试 转换 速率控制 转换 率）/测试 转换 速度

例如，如果您的测试组的转化率为 1.5%，而对照组的转化率为 0.5%：

增量性 = (1.5% - 0.5%) / 1.5% = 66.7%

这意味着，测试组中的 66.7% 转化确实由所测试的营销活动引起，而剩余的 33.3% 转化无论曝光情况如何都会发生。

传统归因模型的局限性

传统的归因模型（如首次接触、最后接触甚至多点接触归因）面临着增量测试解决的几个限制：

1. 相关性与因果关系：归因模型显示接触点和转化之间存在相关性，但无法确定因果关系。

2. 选择偏差：无论广告曝光程度如何，看到广告的用户本质上更有可能转化。

3. 平台偏见：特定于平台的归因模型通常会夸大其影响，将本来就会发生的转化归因于该模型。

4. Cookie 限制：第三方 cookie 的弃用和隐私法规的加强限制了传统归因方法的有效性。

5. 渠道孤岛：每个渠道的报告都是孤立存在的，导致对营销绩效的观察分散。

正如 Barajas 等人 (2016) 在关于在线广告归因实验设计的研究中指出的那样，“仅基于观察数据的归因模型难以区分相关性和因果关系，这可能会导致预算分配决策不理想。”

增量测试与其他测量方法

为了理解增量测试在营销测量生态系统中的作用，让我们将其与其他常见方法进行比较：

增量测试如何补充归因模型

增量测试并非取代归因模型，而是通过对归因模型结果进行真实性检验来补充归因模型。全面的衡量策略可能包括：

1. 归因模型 用于日常优化和了解客户旅程
2. 增量测试 用于验证渠道有效性和制定战略预算决策
3. 营销组合模型 进行长期规划并了解更广泛的市场影响

正如 Lewis 和 Rao (2015) 在他们关于衡量广告回报的研究中观察到的那样，“实验方法和观察方法的结合可以最完整地反映广告效果。”

增量测试方法的类型

存在几种用于实施增量测试的方法，每种方法都有其自身的优势和局限性：

1. 意向治疗（ITT）测试

ITT 也称为受众保留测试，是指随机选择一部分目标受众（对照组）不播放广告。其余受众（测试组）则照常播放广告。

优点：

• 相对容易实现
• 除正常广告支出外无需额外费用
• 可以通过大多数广告平台实现

缺点：

• 当测试组中的许多用户实际上没有接触过广告时，数据就会变得“嘈杂”
• 需要大量样本才能体现统计意义

2. PSA（公共服务公告）测试

在公益广告测试中，对照组收到的是非商业公益广告，而不是品牌广告。这确保两组都能接触到某种形式的广告。

优点：

• 减少选择偏差（两组人都看到广告）
• 创建更具可比性的测试组和对照组

缺点：

• 成本高昂（支付对照组的展示费用）
• PSA 内容与品牌内容不同，可能会造成偏见

3.幽灵广告

幽灵广告是一种复杂的方法，广告投放系统会识别那些原本应该看到广告的用户，但却没有向他们展示任何广告，或者向他们展示了其他广告商的广告。系统会记录这些“幽灵印象”以供分析。

优点：

• 通过准确识别哪些控制用户会看到广告来消除噪音
• 控制印象无需额外费用
• 减少选择偏差

缺点：

• 需要与广告平台集成
• 更复杂的实现

4. 幽灵竞标

幽灵竞价是专为程序化广告设计的幽灵广告的一种变体。系统会向对照组用户发出“幽灵竞价”，但实际上并不会赢得展示机会。

优点：

• 更精准的再营销活动
• 显著降低数据中的噪声
• 经济高效

缺点：

• 需要与竞价系统进行深度技术整合
• 仅限于程序化渠道

5. 地理实验

地理实验包括选择地理区域作为测试区域和控制区域，在测试区域开展活动，而在控制区域则不开展活动。

优点：

• 可以同时衡量多个渠道的影响
• 有助于衡量线下和线上影响
• 适用于全渠道营销活动

缺点：

• 需要具有相似特征的地理区域
• 可能受区域变量影响
• 需要大规模才能有效

根据 Barajas 等人 (2021) 在 ACM 期刊上发表的研究，与传统方法相比，使用幽灵出价的高级增量测试方法可以将达到统计显著性所需的广告商预算减少高达 85%。

实施增量测试：分步指南

实施增量测试需要精心规划和执行。以下是进行有效增量测试的框架：

1. 明确目标和假设

首先明确定义您想要测试的内容以及您想要回答的问题：

• 您正在测试哪个特定渠道或活动？
• 您正在衡量的关键绩效指标 (KPI) 是什么？
• 您假设的增量是多少？

示例假设：“将我们在品牌词上的付费搜索支出增加 30% 将产生具有正投资回报率的增量转化。”

2. 设计实验

实验设计对于产生可靠的结果至关重要：

样本量计算：根据以下因素确定统计显著性所需的最小样本量：

• 预期转化率
• 最小可检测效应大小
• 所需的置信水平（通常为 95%）
• 统计功效（通常为 80%）

随机化策略：选择适当的随机化方法：

• 用户级随机化
• 地理随机化
• 基于时间的随机化

对照组大小：通常，对照组占总受众的 10% 到 50% 不等。小型企业可能需要更大的对照组才能达到统计显著性。

3. 建立适当的测量基础设施

确保您拥有正确的跟踪和测量系统：

• 配置分析平台来细分测试组和控制组
• 实施适当的标记以进行转化跟踪
• 设置仪表板来监控测试进度
• 考虑使用专门的增量测试平台

4.执行测试

运行测试时：

• 严格区分测试组和对照组
• 运行足够长的测试来捕捉完整的客户旅程
• 避免在测试期间进行其他重大营销变更
• 监控任何异常或技术问题

5.分析结果并提取见解

测试结束后：

• 使用之前提供的公式计算增量
• 确定统计显著性（p值）
• 计算置信区间
• 将结果转化为业务指标（ROI、ROAS等）

6.采取行动并不断迭代

根据测试结果：

• 调整渠道/活动的预算，并证明其具有增量性
• 考虑缩减低增量的渠道
• 设计后续实验以进一步优化
• 实施连续测试周期

真实世界的增量测试案例研究

案例研究1：电子商务零售商评估社交媒体影响力

挑战：一家中型电子商务零售商在社交媒体广告上投入了大量资金，但不确定除了平台报告的转化率之外，其真正的影响。

方法：他们在 Facebook 广告活动中使用幽灵竞价实施了增量测试，将 20% 的受众分配给了对照组。

成果:

• 平台归因带来了 4.5 倍的 ROAS
• 增量测试显示 ROAS 增量为 2.2 倍
• 无论如何，51% 的平台归因转化都会发生
• 该品牌通过将预算重新分配给效果更好的广告组，将每次转化费用降低了 30%

关键洞察：平台报告将活动影响力高估了近一倍，导致预算分配不理想。

案例研究2：SaaS公司解决归因冲突

挑战：一家 B2B SaaS 公司在 Google Analytics（归因于自然搜索）和付费媒体平台（声称有相同的转化次数）之间存在冲突的归因数据。

方法：他们对非品牌术语的付费搜索活动进行了保留测试，暂时暂停了针对目标受众中随机选择的 30% 的活动。

成果:

• 非品牌搜索词仅显示 12% 增量
• 品牌词显示 68% 增量
• 将预算从低增量活动转移到高增量活动，使总体线索量增加了 24%

关键洞察：许多非品牌付费搜索点击无论如何都会产生自然点击，从而导致大量预算浪费。

案例研究 3：增量测试揭示展示广告的真正影响

挑战：一家保险公司对展示广告和原生程序化广告的价值提出了质疑，因为这些广告在最后接触归因报告中表现不佳。

方法：他们在程序化广告活动中实施了幽灵竞价增量测试，以衡量真正的增量影响。

成果:

• 87% 的最后接触归因低估了展示广告和原生广告
• 尽管归因报告显示营销活动效果不佳，但其投资回报率却呈现正增长
• 基于增量洞察的预算重新分配使总转化次数增加了 31%

关键洞察：归因模型明显低估了影响转化但并非最后接触的漏斗上层活动。

增量测试的挑战和最佳实践

常见挑战

1. 统计学意义

要达到统计显著性，需要足够的样本量，这对于流量或转化量有限的企业来说可能具有挑战性。

最佳实践：考虑延长测试时长、扩大对照组，或优先关注样本量较大的细分市场。使用适当的功效分析来确定所需的最小样本量。

2. 测试污染

测试期间的外部因素或其他营销活动的变化可能会影响结果。

最佳实践：建立一个“测试窗口”，在此期间其他营销活动保持不变。监控异常外部事件，并在分析中予以说明。

3. 选择偏差

看到广告的用户可能与没有看到广告的用户本质上有所不同，从而导致结果出现偏差。

最佳实践：尽可能在用户级别使用随机化，并考虑使用幽灵广告等高级方法来减少选择偏差。

4. 跨多设备和平台的测量

跨设备和平台追踪用户仍然具有挑战性，尤其是在隐私限制日益增加的情况下。

最佳实践：考虑概率匹配方法，关注登录体验，或使用较少依赖用户级跟踪的地理实验。

成功增量测试的最佳实践

1. 从高影响力渠道开始

从支出最高或最具战略重要性的渠道开始增量测试，以实现最大的潜在影响。

2. 实施持续测试周期

不要进行一次性测试，而要建立持续增量测试程序来应对不断变化的市场条件和消费者行为。

3. 在不同的漏斗阶段进行测试

不要将增量测试局限于漏斗底部的活动。测试漏斗上部的活动，以了解它们对客户旅程的真正贡献。

4. 与其他测量方法相结合

使用增量测试作为包括归因模型和营销组合模型的综合测量框架的一部分。

5.关注业务成果

将增量结果与实际业务成果（如利润、客户生命周期价值和市场份额）联系起来，而不仅仅是转化率或点击率。

增量测试的未来

随着营销测量格局的不断发展，有几种趋势正在塑造增量测试的未来：

1. 隐私优先的增量方法

随着隐私法规的不断加强以及第三方 Cookie 的弃用，不依赖于用户级追踪的新型增量测试方法正在涌现。这些方法包括增强型地理实验方法和联邦学习方法。

2. AI驱动的增量分析

机器学习算法通过以下方式增强增量测试：

• 确定最佳测试设计
• 检测噪声数据中的模式
• 预测未经测试的细分市场的增量
• 自动分析和解释结果

3. 综合测量框架

未来在于统一的测量方法，将增量测试与归因模型和营销组合模型相结合，以提供营销效果的完整图景。

正如 Gordon 等人 (2019) 在比较 Facebook 测量方法的研究中指出的那样，“最可靠的见解来自于对多种测量方法进行三角测量，每种方法都有不同的优势和偏差。”

4.实时增量洞察

数据处理和实验设计的进步正在将增量测试从周期性实验转变为连续、近乎实时的增量测量。

结论：通过增量测试提升归因能力

在当今复杂的营销生态系统中，了解营销工作的真正影响比以往任何时候都更加重要，也更具挑战性。传统的归因模型虽然提供了宝贵的洞察，但无法建立营销活动与业务成果之间的因果关系。

增量测试通过将科学的实验设计应用于营销测量来填补这一空白，使您能够明确回答这个问题：“如果我们没有开展这项营销活动，会发生什么？”

通过将增量测试纳入您的测量策略，您可以：

1. 根据已证实的因果影响做出更明智的预算分配决策
2. 验证或质疑归因模型的发现
3. 确定哪些受众、渠道和活动能够带来真正的增量成果
4. 更准确地了解整个组织的营销效果

随着隐私法规日益严格，传统归因方法面临越来越多的限制，增量测试正成为复杂营销衡量框架的重要组成部分。现在掌握这种方法，您将在隐私至上的未来占据有利地位，保持衡量能力和竞争优势。

准备好通过增量测试将您的归因提升到新的水平吗？ 视力 提供专为尊重隐私的测量而设计的解决方案，以应对本文讨论的挑战。探索我们的 多点触控归因 能力，并了解我们的 隐私优先的方法 可以帮助您实施有效的增量测试。

学术参考

1. Barajas, J.、Akella, R.、Holtan, M. 和 Flores, A. (2016)。“市场中在线展示广告归因的实验设计与估算。”《营销科学》，35(3)，465-483。

2. Barajas, J.、Bhamidipati, N. 和 Shanahan, J. (2021)。“程序化广告中的增量测试：通过双盲设计提高精度。”2021 年网络会议论文集，第 3053-3061 页。

3. Gordon, BR, Zettelmeyer, F., Bhargava, N. 和 Chapsky, D. (2019)。“广告衡量方法比较：来自 Facebook 大型现场实验的证据。”《营销科学》，38(2)，193-225。

4. Johnson, GA, Lewis, RA, & Nubbemeyer, EI (2017). “幽灵广告：提升在线广告效果衡量的经济效益。”《市场营销研究杂志》，54(6)，867-884。

5. Lewis, RA, & Rao, JM (2015). “衡量广告收益的不利经济学。”《季刊经济学》，130(4)，1941-1973。

6. Li, H., & Kannan, PK (2014). “多渠道在线营销环境中的转化归因：实证模型与实地实验。”《市场营销研究杂志》，51(1)，40-56。

7. Berman, R. (2018)。“超越最后一点：在线广告中的归因。”《营销科学》，37(5)，771-792。