AB测试目前广泛应用于产品灰度发布阶段,除此以外,AB测试还有更为广泛的用途,比如:精准营销等增长策略。
要进行某类方案的验证,其理念非常朴素,无非就是控制变量,但商业世界尤其复杂,想要控制一切不相干变量极其困难,因此AB测试大行其道,成为了检验“真理”的常用标准。
基于AB测试的思想,通过随机分组,可以保证两个组的其他变量基本一致,通过对实验组施加影响,来观察实验组相对于对照组的表现差异,从而评估该影响的效果。
接下来,我们就以电商行业的促销活动为例,尝试构建促销的评估体系。
首先,通过标签筛选出潜在人群,并随机抽取一部分用户作为测试组,在不做任何干预的情况下,暗中观察用户的转化情况。
因此,我们以对照组的转化率作为没有优惠券情况下的自然转化率,那么,我们可以得到以下与用户相关的指标:
同理,从经营分析的层面,我们可以评估实际的销售效果:
最终,我们可以得到评估经营效果的综合指标:
以上指标罗列的目的是便于理解指标的拆解计算过程。但对于不同角色而言,最终只需要关注与其相关的结果指标。
其中,GMV净提升率反应的是活动对于GMV的提升效果,如果当前的目标是不惜一切代价冲GMV的话,那么应该选择GMV净提升率高的活动形式或力度。而如果需要权衡考量利润的话,那么还应该把ROI纳入分析,选取GMV净提升率较高,同时ROI也较为可观的活动方案。