以我们目前的O2O配送业务的运营为例,如果我们做的是一个短期的活动,我们所要追踪的过程型指标,至少需要:预算、活动覆盖人数、活动响应人数、活动规则达标人数、支出百分比(已支出金额占预算的比例)。
对于一个长期的活动或策略,我建议只追踪结果型指标的变化,而结果型指标就是我们要关注的核心指标。
这或许是本篇文章中最核心的部分了,以我的角度,运营活动的评价,只是回答两个个问题:明确的活动目标是否达成?预算是否超支?
活动目标一定是围绕核心结果指标来制定的。那么判断活动的效果如何,就是衡量核心结果指标是否有质变。如何展开评价?
首先,对核心业务指标做1-2层的拆解。为什么这么做呢?因为核心业务指标往往受多重因素的影响,我们尽量拆解到我们的运营动作能够直接影响,同时与核心指标的关系又比较近的一层。
比如我们做某个活动,目的是提高午高峰的接单率,那接单率就是我们的核心结果指标;在评价时,我们根据运营动作的响应关系,将接单率拆为推单数和活跃运力数,我们所直接影响的是活跃运力数。若我们活动的目标群体是近1个月注册的活跃运力,那么活跃运力指标还需拆解一层,统计近1个月注册的活跃运力和非近1个月注册的活跃运力。
其次,要从时间维度对结果型指标进行对比,也就是活动前后的对比。需要注意,活动前后的数据对比,一定要跨满一个业务周期,比如,我们的业务有明显的7天的周期波动,那么运营活动一定要跨满七天。同时采用均值的方式,对比平均水平的变化。这点大家尤其要重视!
承接例子4,活动开始后,我们至少要统计满7天的数据,才可以开始做评价。评价时,我们计算活动后7天的平均接单率,然后与活动前的7天平均接单率进行对比。如果条件允许,我建议取活动前的均值数据跨2个周期,也就是14天,但要保证在这14天中没有相似的活动在进行,且政策上没有大的变化。
那么,活动前后对比数字差别达到多大,算是有区别而不是随机波动呢?粗略的估计方式是5%,即活动前后的数据差别达到5%以上,才能说活动有显著的效果。精细的方式需要拉长时间后,对活动前后两段数据做方差分析,这里不累述了。
另外,对于结果型指标,其实并没有必要在活动期间天天追踪。真正重要的是,活动的跨度必须超过一个业务周期,在超过一个业务周期后,对结果型指标进行汇总,与活动前对比。
最后补充一点,如果条件允许,建议在活动施行的时候,找一个参照系,横向对比活动的效果。这样能排除掉系统性的影响。比如,全国各地的接单率都在涨,在某地上了一个活动,发现接单率涨了,说是活动带来的效果,就很牵强了。我们已经做了城市的分群,在同群组里面的城市,可以寻找规模相似的,最为参照系。
任何运营,都不能脱离对预算的考虑,这也是我们目前最薄弱的环节。活动前,估计好预算总额,在活动执行的过程中,时时关注预算的消耗情况(每天统计),这是非常有必要的。
关注预算总额是否超支以外,我们需要计算ROI,即投入产出比。不同的活动,投入产出比的计算方式一定不同。
比如我们唤起运力的活动,花了多少钱cost,唤起多少运力rider,这部分运力送掉多少单order,我们就需要计算cost/rider+平均每运力一天的补贴,cost/order+平均每单补贴。
除了计算ROI,我们还需要关注在执行活动时,整个城市的成本情况,是否符合我们的宏观的预算限制。最好的情况是,活动执行的同时,整体成本并没有上升,或者在下降。即我们要把钱挪到该用的地方。
一个短期活动做完后,我们还有必要追踪活动结束后的结果型指标如何变化。最理想的情况是,一个活动结束后,结果型指标依然保持在活动时的优秀水准,也就意味着,一个短期活动带来了长期的正向效益。我们不能忽视有些运营活动带来的滞后效应和连带效应。
不同时期进行的相似活动甚至是相同活动,我们要做好活动数据的存档,来观察活动间的对比。许多探索性的活动,我们是有必要计划成系列活动以达到我们的实验目的的,比如价格探底测试,我们应该分阶段,分地域类型,进行系列测试,从各次的数据存档中,去总结规律。
随着运营的逐步精细化,我们需要具备系列活动的策划和执行能力!