深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

2026 年第 11 周（3 月 8-14 日），推荐系统研究呈现两条清晰的技术主线。第一，生成式推荐（GR）正在经历从"能跑起来"到"跑得好、跑得快、跑得对"的全栈优化——Netflix/Meta 的指数奖励加权 SFT 解决后训练对齐、LinkedIn 的因果注意力重构将序列长度减半、快手的 FP8 量化将 OneRec-V2 推理延迟降低 49%、阿里的可微几何索引从根源消除长尾偏差，五篇论文从五个维度推进 GR 范式的工业级成熟。第二，LLM 推荐正在从"单次推理出结果"走向 Agent 化范式——Meta 的 VRec 在推理链中插入验证环节、美团的 RecPilot 用多 Agent 框架替代传统推荐列表、中科大的 TriRec 首次引入三方协调、人大/京东的 RecThinker 实现自主工具调用。 表示学习方面同样活跃。华为的 RF-Mem 将认知科学双过程理论引入检索管线，Amazon 的 P²GNN 用原型集增强 GNN 消息传递并在 18 个数据集排名第一，另有工作探索直接从 LLM 隐藏状态提取检索嵌入。此外，联邦推荐、机器遗忘和隐私合规方向也出现了多篇值得关注的工作，指向推荐系统基础设施级的隐私需求正在快速成熟。

工业推荐排序全面转向 Scaling 工程化。阿里 SORT 订单+6.35%，快手 FlashEvaluator 和 SOLAR 分别优化评估器与注意力效率，字节 HAP 实现粗排计算预算自适应分配。生成式推荐进入目标对齐阶段，多模态去冗余与因果去偏粒度持续细化。36 篇论文深度解读。

本周共收录 23 篇推荐系统相关论文，其中 5 分论文 5 篇，4 分 10 篇，3 分 8 篇，整体质量出色。Generative Recommendation（生成式推荐） 是本周最显著的技术主线，6 篇论文直接聚焦于此，涵盖 Semantic ID 编码、受限解码优化、广告场景部署和多任务统一框架。另一条主线是 LLM 与推荐系统的融合范式——"LLM-as-Rec"（LLM 作为推荐骨干）与"LLM-for-Rec"（LLM 辅助推荐）两条路径本周都有重要进展。工业部署论文占比极高（6 篇含 Online A/B 测试），来自 AliExpress、快手、Apple App Store 等一线平台。