先看一个常见矛盾:小范围测试时,自然增长曲线和活动带来的脉冲都很清楚;量级放大后,两者却混在一起,活动结束后的回落里既有自然量的恢复,也有活动人群的流失。要分开观察,不能只看总量,而要先确定一个可识别的边界,再用边界两侧的指标变化去判断。
当活动期间新增明显上升、活动结束后又快速下降时,至少有两种解释。第一种是活动集中触达把原本会在之后自然发生的行为提前了,即透支;第二种是活动触达的人群与自然增长人群基本不重叠,回落只是因为活动人群本身生命周期短。
两种解释对应不同的后续动作。如果是透支,活动结束后应观察自然渠道的基线是否低于活动前;如果是人群不重叠,基线应大致恢复,只是总量回到活动前水平。把这两种情况混为一谈,就容易在下次活动时错误地加大或缩减投入。
能区分两种解释的证据不在活动期间的总量,而在活动前后的对照。
这里要注意:搜索、广告、社媒和销售带来的指标不能混用。自然新增的基线要用自然来源自己的口径计算,不能用全渠道总量代替,否则活动脉冲会掩盖基线变化。
假设某应用在两周活动期间新增上升,活动结束后一周新增回落到活动前水平以下。先不要下结论,按下面步骤处理:
这个例子里的数字只用于说明比较方法,不代表任何实际转化水平。动作的结果会直接影响下一步:基线回升说明透支判断成立,可以继续用较小规模测试;基线不回升则说明问题可能出在活动人群质量或承接环节,需要换观察对象。
上述方法在个别样本上成立,规模化后常出现例外。原因是当活动覆盖人群扩大到与自然人群高度重叠时,基线对比会失真:活动期间的自然来源可能被归入活动归因,活动后的基线也可能因为整体用户结构变化而漂移。此时需要先固定归因口径,再谈基线对比。
另一个边界是时间窗口。活动周期越短,回落越容易被误读为透支;活动周期越长,自然增长和活动触达的边界越模糊。适用条件是:活动前后各有一段相对稳定的观察期,且自然来源的统计口径没有中途改变。不满足这个条件时,分开观察的结论只能作为假设,不能直接用于决定预算分配。