对于一个推荐系统，可以通过AB test来观察指标，决定是否可以全量发布，这是一种科学的迭代手段，他的正确性已经内化到骨头和血液里了。但错误的指标引导，可能会让迭代往错误的方向持续的演进，万劫不复。
你真的会看AB指标么？可能冒犯了一些人，我首先问的是自己，在工作的前几年里，我真的不会看，这更多是受限于公司的理念和基础架构；而我发现，即便是有好的环境，还是很多人对如何看指标存在疑惑；即便到现在，我可能还是有一些错误的理念，只能让认知持续迭代吧。
别被“率”欺骗了
因为你优化点击率，AB指标看点击率，点击率涨了要Launch了，有错么？大错特错。“率”本不存在，它只是一个统计，你把用户的点击量除以曝光量，这两个数才是真实存在的，“率”只是一个概念。如果只盯着点击率，最滑稽的事情就是，曝光量减少也是一种增益。如果点击量增加了，曝光量减少了，CTR涨的更多了，可以么？这时候才是疑惑的开始，真正的答案是不知道。
如果点击是核心指标，那么应该关心的是点击总量、人均点击量和UV 点击率。
先说一下UV点击率，它的分子是点击用户数，分母是进组用户数。同样都是“率”，它会更科学一些，因为1-UV CTR是用户的跳失率。UV CTR和人均点击都涨了，那么大概率是好的实验。如果核心指标是成交，那么还需要观察UV转化率，是一样的道理。
UV CTR忽略掉了分子上的同一个用户的点击量，这个可以用人均点击量来弥补。UV CTR公平的给了每个用户相同的权重，人均点击量也接受让一个已经体验不错的用户变得更好。
虽然要优化CTR、CVR，但是最不该看的就是实验的PV CTR和PV CVR，只关注它们，可以谬以千里。所以，甚至不会要求在Launch文档中，看到PV CTR的变化。我甚至不知道场景的PV CTR是多少，忽略它就对了。
Data-Driven是对的么
我时常遇到，两个人为了两个策略争执不下的时候，有人会说，Data-Driven，我们分析一下数据，再看一下。Data-Driven仿佛真理一般。虽然Data-Driven，但是Human analyse，从数据中来的，不一定是真相，也可能是欺骗。
推荐系统就是Data-Driven的，像搜索还有人工标注，推荐系统几乎都是用户标注。如果不加控制，且我们的模型优化到足够好，那么它已经是Data-Driven了。但推荐系统，20%的用户提供了80%的样本，享受了80%的服务。而当我们谈增长、谈新用户的时候，另外的80%的用户没有被足够的对待，他们甚至在放弃这个APP的边缘徘徊。
我记得有个很有名的产品，内部搞赛马，差距最大的时候，他们的用户基数差了40%。这40%的用户，就能在上面说的总量和人均量之间辟出一条鸿沟。哪怕你的指标里，分母是进组用户数，数据依旧会欺骗你。如果你是上帝，你看到了这家伙盯着人均指标在看，你只要赶走一部分不活跃的用户，就能提升指标了。
所谓的用户的数据表达，是尚且留存的用户的表达，更多的时候，是要警惕那些溜走的用户，挥一挥衣袖，在数据里没有任何表达。所以，任何一个业务，留存至上都是没有错的。不同的是，有的要关心次留，有的要关心7留，有的要关心日活，有的更关心月活。
App是一个整体
推荐系统只是一个模块，甚至我们的业务也是一个子模块。一个湖里取一瓢水，看不出任何的损失，却能装满一个水缸。除了自己业务的增量，模块的增量，也要关心整个App的其他的核心指标。如果核心指标打架，比如他要时长，你要GMV，遇事不决，看留存。
总结
留存活跃至上，这个是你任何一个效率指标的分母，效率是有天花板的，可是对于非国民级的APP，用户的增长则没有天花板。每一个模块的实验，关心对整个App的影响，大家在一搜船上，共赢大于竞争。用户作为分母的指标可以作为核心指标，PV xxx率的指标，警惕它的分母，只能作为辅助指标，帮助你理解实验发生了什么。