Transformer 在推荐系统中也开始被广泛地采用,加上参数和算力的 Scaling Up,可以持续地在推荐系统中获得收益。但是从日常面试中,我也发现大多数的推荐系统从业者缺乏对 Transformer 的基本认知,导致了在Scaling 中出现常识性地错误引发失败。 Transformer Scaling 的核心问题,是尺度匹配。 Transformer 从来不是一个可以随意放大的黑盒模型。当模型的深度和宽度发生变化时,residual stream 的尺度、每一层的梯度、参数更新量、Attention logit、优化器的二阶矩估计,甚至最优 learning rate 都会一起发生变化。如果这些量没有被控制在合适的区间里,增加的参数不但不会变成有效容量,反而可能让模型进入一个“能训练,但没有真正学好”的状态。
2017 年,Ilya Sutskever 读到《Attention Is All You Need》时,立即意识到”这就是我们需要的一切”。OpenAI 随即放弃了 RNN/LSTM 路线,全面转向 Transformer,催生出整个 GPT 系列。Transformer 的并行能力让他们得以实现一直相信的 Scaling 路径。八年后的今天,推荐系统终于走到了同样的路口。 2024 年之前,推荐领域有了 HSTU、TIGER 这样的工作,但大多数团队还在观望。2025 年,我观察到一个明显的转变:大家开始认真地把排序模型 Dense Scaling Up,搞生成式召回和端到端推荐。这很像 2017 年——当时大家忙着把 LR/GBDT/FM 切换到 Deep Model 和双塔,切换过程持续了一两年,之后再没人回头。我的判断是,2026 年将是推荐系统 All-In Transformer 的一年,不改变就落后。