Scaling 这个词从 LLM 扩展到推荐系统,最近也是驱动了推荐系统的核心收益。它有 Scaling Law 的 paper 提出,原本是指算力、参数、数据和 Loss 的 powerlaw 经验关系。由于推荐系统一直也是用全数据的,那么实际就是指扩展推荐模型的网络参数量,能够持续稳定地提升离线指标。 之前迭代了很久的成熟的工业模型,折腾网络结构和特征,每次迭代收益来到了千分位,突然又能有几个百分点地提升了,这就是网络参数 Scaling 的魅力,和转为业界共识的核心原因。 但这不是推荐系统的第一次 Scaling,或者说 网络参数Scaling 背后是一种做推荐目标优化的思维方式:放弃掉算法局部技巧的细枝末节,找到一个可以扩展的轴,转动它能够稳定地影响业务指标,你就把一个玄妙未定的算法研究问题转化成了稳定可预期的工程问题。