深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

本周推荐系统研究围绕三条技术主线展开：生成式推荐从概念验证走向端到端工程落地、LLM 从排序辅助进入核心决策环节、预训练-持续刷新范式重新定义知识归属。工业界论文过半，Yandex、快手、字节、腾讯、Snap、Shopee、LinkedIn、京东、微软、华为均有部署论文，且大多附带线上 A/B 数据。 主线 1：生成式推荐走出「生成即召回」原型，向端到端单模型演进。 Yandex 的 Gryphon-v2 用单个模型替代 15 个候选生成器、粗排与精排的完整级联，活跃用户 +1.41%；Snap 把 LLM 生成式召回推进到短视频场景，View Time +0.37%。两者共同指向——生成式架构的工程瓶颈（排序目标传递、推理成本、资格约束）正在被逐个拆解。 主线 2：LLM 从排序辅助进入高风险决策环节。 腾讯 SeqLLM 为支付风控注入行为序列建模，商户筛查精度从 92.0% 提到 97.5%；快手 HOBA 用 LLM 推理超参数、SARSA 选专家、专家池执行，三层结构让竞价决策在线自适应，目标成本 +3.6%。百度 QDET 用 7B 模型在时间线摘要任务上追平 DeepSeek-R1-671B，CTR +5.5%。 主线 3：预训练-持续刷新的范式开始重划「知识」与「几何」的归属。 Shopee 的 KGD 用行为多 token 预测清洗预训练知识、锚定校准残差解耦任务几何，GMV/用户 +1.75%，90 天生产流验证无衰减。这条线指向一个判断：预训练推荐模型的下一个战场不是更大的模型，而是如何在持续分布漂移中守住已学知识、同时让下游适配不被梯度干扰。

本周推荐系统研究呈现三条交织的技术主线：生成式推荐的工业部署密度达到新高，多家公司密集披露线上收益；LLM 推荐从显式推理转向潜在推理，推理成本成为规模化部署的首要约束；工业基础设施论文集中解决训练-服务不一致、推理计算复用和冷启动问题。三条线共同的指向是——推荐系统正从"模型能力竞赛"转向"系统工程竞赛"。 主线 1：生成式推荐进入多目标、可控的工业化阶段。 快手的 Multi-Decoder OneRec 用多解码器结构解耦共享表示与目标特化，线上 app 使用时长 +0.37%、冷启动 +2.09%；京东的 OxygenREC-v2 以 3B 参数 MoE 将判别信号内化进生成式骨干，GMV 提升 2.8%-6.8%。生成式推荐的竞争焦点从"能不能召回"转向"能不能控方向、调目标"。 主线 2：LLM 推荐的推理方式从显式 CoT 转向潜在推理。 快手的 WhisperRec 将教师 CoT 压缩为潜在 token，SID@64 提升 17.44%，在线推理吞吐量提升超 10 倍；LaRec 用个性化高斯混合分布采样推理起点，探索多路径潜在推理。显式推理的质量天花板仍在，但推理成本决定了谁能在线上活下来。 主线 3：工业推荐系统的工程深化。 Meta 的 ROCS 将请求侧计算共享从特征交互扩展到序列模型，检索模型 QPS 提升 3 倍；Memory Layer 用与模型共训的键值缓存统一训练-服务表示，NE gap 缩小 86%。训练和服务的结构性对齐，正在成为比模型结构更重要的优化杠杆。

本周推荐系统研究围绕三条技术主线展开。生成式推荐从侧重“能生成”转向“生成得好且经济”——BARGE 解决了语义 ID 的单序列扁平化问题，TSGR 将商业价值嵌入检索过程，DLMRec 用扩散替代自回归。排序模型侧向于统一架构与不确定性建模：WHALE 融合 Wukong 和 HSTU 两种高性能主干，UAME 将预测不确定性用作标签偏差的校正项。LLM 应用从纯推理转向状态化与闭环优化：RecGPT-V3 引入持续用户记忆，RECAP 用 GRPO 优化用户画像。 生成式推荐从“能跑”走向“跑得稳”： 腾讯的 BARGE 识别出生成式推荐的两个结构性缺陷——多 token ID 序列化破坏物品级结构、分层码本训练推溯不一致导致语义漂移。BARGE 通过 Item Context-Aware Attention（ICA）恢复物品级上下文，配合 Hierarchical Path Reranking 和 Dual-Path Decoding 将线上 CTR 提升 0.60%。与此同时，阿里巴巴的 TSGR 从另一个角度切入：让语义 ID 编码过程本身就对商业价值敏感，线上 GMV 增长 1.64%。两篇的共同指向是——生成式推荐的核心瓶颈不在生成能力，而在 ID 设计与解码结构。 排序模型走向架构统一与可解释的不确定性： Meta 的 WHALE 将 Wukong（高阶非序列特征交互）和 HSTU（长用户行为序列）在每一层通过注意力融合模块连接，让高阶特征交叉能反复从长历史中检索细粒度证据。不替换现有主干，而是让它们协同工作。快手的 UAME 改变了一个基础假设：用户满意度标签本身就是有偏的行为代理，模型不应该忽略这种不确定性。UAME 将预测建模为高斯分布，用不确定性程度加权样本损失，在短视频推荐上用户满意度提升 0.32%。 LLM 应用从辅助工具到推荐核心引擎： 淘宝的 RecGPT-V3 是一个里程碑式的系统级更新——Memory Hub 将用户建模计算削减 55.8%，Latent Intent Reasoning 将输出 token 成本降低 200 倍，同时 GMV 增长 3.97%。它证明多模态推理可以在线上以可接受的资源代价运行。快手的 RECAP 用 GRPO 优化 LLM 生成的用户画像，线上用户使用时长提升 0.139%。结合之前的研究，LLM 在推荐中的应用正在从“能不能用”转向“怎么用得既好又省”。

本周推荐系统研究集中在四条技术主线：生成式推荐进入工业深水区、排序模型向长序列和细粒度语义演进、召回系统在异构索引和因果优化上取得突破、LLM增强推荐从实验走向工程落地。34 篇论文中有 23 篇来自工业界（含 18 篇已部署），13 篇报告了线上 A/B 结果。 主线 1 "生成式推荐从 DocID 设计到微调对齐"： 阿里巴巴的 CRID 将业务价值排序直接编入 DocID，在 300M 商品库上全流量 GMV +1.06%。GFlowGR 用 GFlowNet 微调生成式推荐，在淘宝搜索广告实现年收入 +0.4%。美团 NONTP 通过时序对比学习和跨域学习扩展 NTP 训练信号，线上 CTR +1.8%、GMV +2.1%。三篇的共同指向是——生成式推荐正从 "能生成" 转向 "会优化"。 主线 2 "排序模型追求深度解耦与长时建模"： Meta 的 SlimPer 将个性化排序建模为 <user, item> 知识库迭代精炼，支持 10k+ 历史事件且 O(N) 复杂度，部署于 Instagram。Yandex 的 Long-History User Transformers 通过离线编码 + 缓存 + 轻量在线模型解耦长历史推理，搜索广告 +2.77%。阿里 SAM 用饱腹感门控显式建模兴趣生命周期，将购买后重复率降低 60%。 主线 3 "召回系统的工程与因果范式"： Pinterest 的因果检索框架减少 85% 购物触发器而不损关键会话。MESH 通过模块化架构和门控偏置校正，使新鲜物品缩放指数提升 14 倍，用户留存 +0.46%。Microsoft 的 FlashTrie 将生成式检索的约束解码全量迁移至 GPU，800M 关键词库 <3ms，线上收入 +0.71%。 主线 4 "LLM 推荐的轻量化和 Agent 化"： Vrbo 用训练免费的 LLM 合成查询解决长尾覆盖问题，缩小 3B 模型与 API 模型的召回差距至 <1%。QuintoAndar 的 LLM 重排序融合对话上下文在房产搜索中 CTR +5.3%。Kuaishou 的 RashomonLLM 将解释生成与预测耦合，在直播 CTR 上 AUC +2.3% 且解释质量提升 8.7%。

本周推荐系统研究围绕三条技术主线展开：生成式检索的工业落地与理论深化、LLM/Agent从概念验证走向真实部署、以及精排/联邦学习在工业环境中的鲁棒性优化。 生成式检索加速落地与多兴趣精细化： 快手在推送通知系统中部署了异构生成式架构 HGenPush，采用非自回归多token预测替代传统自回归解码，实现DAU提升0.181%。Walmart将库存感知RAG引入赞助搜索，InvAwr-RAG将广告填充率提升68%。理论层面，BACH通过贝叶斯混合头解决多兴趣双塔的路由坍塌问题，在三个基准上刷新召回率；DaV-Gen提出draft-and-verify机制统一生成式检索的效率与精度。此外，Signed MaxSim首次从理论上证明MaxSim的表达力不低于向量内积，并扩展至任意实值内积。 LLM/Agent推荐从原型走向生产： Meta的 SCOReD 是本周最突出的部署工作——通过学生感知的CoT优化将教师推理轨迹适配到小模型，线上获得NDCG+1.56%和Recall@5+1.9%，同时推理长度减少27.3%。Walmart使用LLAMA2 7B+LoRA做广告相关性三分类，准确率89.43%超越GPT-4。学术方面，MMEACR提出双轨记忆架构加强Agent的视觉推理能力；LBR系统性地揭示了LLM推荐中的长度偏差，并提出轻量校正方案（NDCG@5提升16.82%）；综述论文Autonomous Information Seeking为Agent推荐建立了三范式分类法。 工业级精排与联邦学习优化： 快手的 PIT-SUN 是一种可直接部署的经验边际变换框架，通过对重尾目标进行概率积分变换与期望一致性恢复，在线上全面改善点精度和校准。FeLiX则针对联邦学习中客户端流失问题，提出流式感知可用性层级和延迟鲁棒聚合，将收敛时间缩短2.37倍。

本周24篇论文中，4篇来自工业在线部署（Meta、Netflix、阿里巴巴、快手），覆盖召回、排序、重排、全链路生成阶段。核心技术密度的分布逻辑在变——生成式推荐从"能生成"走向"能推理"，召回从嵌入匹配转向导航式探索，排序阶段则在约束和解释之间寻找平衡。 生成式推荐进入"推理+强化学习"时代： GR2、ShopX和GenPage在同一周展示了三种不同的生成式架构走向。GR2在重排阶段首次引入推理链（CoT）和RL后训练，在工业流量上R@1提升18.7%。ShopX将生成式推荐从候选生成推向"意图到物品"的端到端执行，在淘宝Agent场景下复杂请求满足率提升55-75%。GenPage走得最远——用单Transformer替代Netflix整套多阶段主页流水线，核心指标+0.24%的同时延迟降低20%。三篇的共同指向是：生成式推荐的核心壁垒已从"能否生成"转向"能否在推理质量与部署效率之间找到工业可行解"。 召回从静态匹配走向动态图探索： Meta的硬负采样通过LLM聚类生成实时同簇负样本，在线召回率+8.5%、流行度偏差-12.3%。快手的IID-Nav将召回建模为自主图探索，支持间接无限深度遍历。Kuaishou的POEM利用多任务排序分数构建偏序序列，实现请求级别的实时兴趣更新。三条技术路径共享一个趋势：召回正从静态嵌入查询转向动态、上下文感知的行为建模。 约束优化与可解释性重回视野： Avito的PermR在5600万搜索查询上证明了相邻交换法能在生产延迟内逼近整数规划收益。KakaoBank的ChunkGroupSHAP用分组Shapley值弥合了词级解释与密集排序器之间的粒度鸿沟。这两个工作提醒行业：在大模型热潮中，渐进式工程优化和可解释性工具仍能产出具象收益。

本周 12 篇论文中，工业部署论文占据主导——8 篇来自 YouTube、TikTok、快手、腾讯、沃尔玛等一线平台，均有线上 A/B 实验指标。研究聚焦于三个相互交织的方向：生成式推荐与LLM增强、大规模检索的 GPU 加速、以及工业系统的架构与归因优化。 生成式推荐从“生成物品 ID”走向“生成物理物品”： 快手提出的 RaG（Kuaishou）将生成式推荐与视频生成统一，在 4 亿 DAU 平台上实现广告收入 +1.87%。YouTube 的 TokenMinds（YouTube）将 Semantic ID 从物品侧扩展到用户侧，生成离散用户 token 与稠密 embedding 双输出，覆盖全量用户流量。两条路线指向同一个判断——生成式推荐正在从离线一致性验证进入线上收益兑现阶段。 用户建模从“稠密向量”向“离散语义 ID”切换加速： 快手与 YouTube 几乎同时发布了基于 SID 的框架。这不仅是表征形态的变化，更意味着推荐系统与 LLM 世界的底层 token 空间开始对齐，跨场景统一（短视频/长视频、推荐/广告）的成本大幅降低。 工业归因与缩放方法论走向精细化： TikTok 的 归因校正框架（TikTok）将因果实验与每日生产归因对齐，将蚕食率降低约 15 个百分点。腾讯的 NOVA（Tencent）用智能体自动化架构演化，L3 任务线上 GMV 提升 +2.02%。快手的 UniFormer（Kuaishou）提出模型中心缩放框架，将建模空间显式分解为特征和任务两个维度。三者共同揭示——当模型架构趋于收敛，工程自动化和测量准确性成为工业竞争的新壁垒。

本周推荐系统研究集中在三个方向：大规模图检索的全生命周期协同设计、基于Transformer的序列建模在多平台落地、以及多任务排序架构从DNN向Transformer native的迁移。Meta、Airbnb、Alibaba、Shopee、NetEase Cloud Music等公司各自发布了线上部署工作，提供具体的AB指标。 主线1（大规模图系统的端到端设计）： Meta的RankGraph-2（Meta）将图构建、表示学习、在线服务三个阶段耦合优化，在百亿节点图上计算成本降低83%、召回率是GAT+Deep Graph Infomax的3.8倍、线上CTR+0.96%、CVR+2.75%。同方向，HighLevel的ScoreGate（HighLevel）用双分数统计融合控制RAG检索数量，生产环境减少34.8% token、召回率97.77-99.34%。 主线2（生成式推荐从理论走向生产）： Airbnb的JourneyFormer（Airbnb）在搜索排序中部署基于Transformer的序列模型，处理长且稀疏的用户行为；阿里巴巴的OneBar（Alibaba）用端到端生成式框架做视频电商查询推荐，GMV提升21.67%。两篇共同指向——生成式推荐需要在实际约束（冷启动、延迟、标签稀疏）下做工程折中，而非单纯追求离线指标。 主线3（多任务排序的Transformer-native范式）： Shopee的OneRank（Shopee）消除编码器-预测器分离，在Transformer内部做任务私有通道和梯度分离，线上CTR+1.2%、CVR+0.8%。网易云音乐的PIANO（NetEase Cloud Music）用可学习[CLS] token实现列表级多目标重排，CTR+0.62%、CVR+4.45%。两者都说明：将多目标推理内化到Transformer堆中比外挂MLP更有效。

本周推荐系统研究围绕三条技术主线展开：生成式推荐从架构完备走向工业级工程落地，其中编辑性、长序列建模、物品级评分等关键能力被逐一攻克；LLM增强的推荐从离线推理迈向在线实时，谷歌与快手等团队实现了十亿用户规模的实时用户画像与意图推理；召回排序系统的成本与效率优化出现系统性方案，小红书以90%硬件成本节省为代价将聚类ANNS部署至SSD存储，同时CTR模型的残差路径设计开始突破缩放定律瓶颈。 主线1（生成式检索工程化）： 快手推出的OneRetrieval首次实现了可编辑的生成式检索，在替换倒排索引分支后显著提升订单量与CTR；Yandex的Gryphon引入联合训练的物品级评分组件，替换超过15个候选生成器与粗排阶段，召回量Recall@1000提升3.7%；京东的AdaGRPO通过自适应门控GRPO损失，将HR@10从11.01%提升至12.18%；Meta的Beyond Item IDs提出Global-Aware Compression Transformer，将峰值内存降低一个数量级；阿里的SSRLive通过动态语义ID融入用户-主播交互信号，线上观看时长+3.38%。 主线2（LLM推荐实时化）： 谷歌的LLM-Based User Personas框架实现了十亿用户规模的实时自然语言用户画像生成，结合知识蒸馏与异步推理在线上A/B测试中显著提升用户价值；快手的AIR通过离线生成原子意图、在线检索组合的方式实现了400倍推理加速，GMV+3.446%；DoorDash的Mind the Gap利用分层RAG从餐厅订单中生成多级分类特征，在零售品类上CTR+2.1%；OPPO的ToolRec为小布助手（1.5亿月活）构建了双层级点击校准机制，CTR显著提升。 主线3（召回排序系统效率优化）： 小红书的Helmsman在40台SSD服务器上替代了原需35000核与0.35PB DRAM的HNSW集群，硬件成本节省90%；DeRes通过双路径残差架构在工业CTR数据集上AUC+0.32%，且计算-AUC缩放定律显示8层DeRes匹配16层OneTrans（2倍计算节省）；Meta的DUET将用户行为分离为点击与转化两个流，分别用专用Transformer预训练，离线NE降低0.38%；eBay的Representation Curriculum通过分阶段训练缓解曝光依赖信号，冷启动Recall+5.2%。

本周推荐系统研究围绕三条技术主线展开。 主线1：生成式推荐从“能跑”走向““跑得稳”——语义ID与推理能力成为工业焦点。 Pinterest的UniPinRec实现了检索与排序的全栈统一（线上engagement +1%，延迟-11.1%），跳出了生成式推荐仅做检索的边界。快手的OneReason（线上部署）则揭示了思考模式在生成式推荐中无效的根本原因——感知与认知双因素缺失，并给出三级CoT格式和专化-统一训练的解决方案。两者的共同指向是：生成式推荐的核心瓶颈已从模型架构转移至数据形态（语义ID）与系统协同。 主线2：跨域冷启动从“搬特征”到“学迁移”——LLM作为跨域桥接器开始大规模落地。 快手的RGCD-Rep（服务4亿+用户）用MLLM推理蒸馏将短视频用户兴趣迁移至直播，冷启动参与度显著提升。Meta的Quantizing Intent论文（线上AUC +1.522%冷启）则将有机feed行为量化为语义ID注入广告排序，证明行为富集度决定跨域迁移质量。两篇的共同发现是：跨域迁移的关键不在对齐特征，而在构建可迁移的语义表征。 主线3：LLM/Agent增强推荐走向行业差异化——从通用检索到垂直场景的深度适配。 理想汽车的HPRO（132天A/B，销量+9.5%）将偏好优化引入销售线索评分，解决稀疏监督和漏斗层级问题。快手的Taiji（CTR +12.4%，收入+15.2%）提出帕累托最优策略优化，在语义与ID之间找到最优权衡点。Syft的DynaTree（生存率提升1.5倍）则用离线智能体建树+在线轻量子树选择解决时间敏感新闻检索的效率问题。这些工作表明，LLM在推荐中的应用正从“通用方案”走向“场景定制”。