Transformer 在推荐系统中也开始被广泛地采用，加上参数和算力的 Scaling Up，可以持续地在推荐系统中获得收益。但是从日常面试中，我也发现大多数的推荐系统从业者缺乏对 Transformer 的基本认知，导致了在Scaling 中出现常识性地错误引发失败。 Transformer Scaling 的核心问题，是尺度匹配。 Transformer 从来不是一个可以随意放大的黑盒模型。当模型的深度和宽度发生变化时，residual stream 的尺度、每一层的梯度、参数更新量、Attention logit、优化器的二阶矩估计，甚至最优 learning rate 都会一起发生变化。如果这些量没有被控制在合适的区间里，增加的参数不但不会变成有效容量，反而可能让模型进入一个“能训练，但没有真正学好”的状态。

最近模型从 Dense 切到了 MoE，MFU 也相应地暴跌了，大家直觉上觉得 Expert 被切的很小，所以计算强度上不去，但实际切分完的维度至少也有 1024，MFU 暴跌的原因一定不来自这里。深入理解这个问题，就是理解 GPU 的分布式并行计算，要在计算和访存 bound 之外，引入通信 bound，而解决吞吐和 MFU 的问题的手段，就是设计合理的 GPU并行策略，做好 GPU 计算和通信的遮掩（overlap）。 DeepSeek 的 H800 和昇腾卡，8 卡 nvlink 高速互联，跨节点都是 IB（InfiniBand）低速网络，我们手里虽然有 B200，但实际也也没用上 NVL72，所以DeepSeek 的并行策略有普适的借鉴意义——硬件基础相似，低成本方案，新的 MoE 的方案也做了开源。

覆盖 101 篇核心论文（58 篇工业界 + 43 篇学术精选），系统梳理 2022-2026 年生成式推荐从学术概念到工业主流范式的完整技术演进。以 TIGER、HSTU、OneRec 等里程碑论文为核心，深入分析 Semantic ID、模型架构、训练范式、推理增强、长序列建模等关键技术方向。