深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

本周工业界论文密度明显高于往常。TikTok、快手、百度、Google、LinkedIn、Meta、Spotify、Walmart 都拿出了带线上 A/B 的系统论文，覆盖从召回、粗排、精排到出价的完整链路。另一条线是评估与数据质量——Netflix 的反事实可观测性框架、Meta 的合成数据过滤，以及一篇质疑 LLM 重排评估协议的实证审计。 主线一，生成式召回的连续空间与统一级联。 X-Rec（ByteDance）放弃 semantic ID 的离散 token 路径，改在连续 item embedding 空间用 flow matching 直接学推荐分布，推理吞吐是 SID-AR 的 3.46 倍，TikTok 垂直内容互动 +4.1484%。OneTrans-V2 则把召回/粗排/精排压进一个 Transformer，GMV +9.74%、同硬件吞吐 3.2 倍。两者的共同指向是——生成式推荐的瓶颈已经从"能不能生成"转移到"生成路径的吞吐与检索精度如何兼得"。 主线二，工业系统在评测口径上的自我修正。 Recall Ceiling 发现 LLM 重排常用的 oracle 协议把 NDCG@10 高估了 92–95%，真实检索的 Recall@100 只有 2–19%，天花板直接锁死了重排的上限。FROST（Meta）则从数据侧入手，用真实数据梯度锚定合成样本效用，过滤掉 20–30% 合成数据反而提升下游效果。这类工作不产出新模型，但会改变别人怎么读别人的结果。 主线三，MoE 与参数继承成为 scaling 的工程抓手。 IntBMoE（Alibaba AMap）通过 block-conditioned 专家组合把 MoE 的参与度、执行量、物化量三者解耦，60ms 延迟下服务数亿用户，UVCTR +2.4%。Inherit4Rec（快手）则用参数继承做稠密到稀疏的平滑转换。两条路都在回答同一个问题：容量怎么涨，而延迟不涨。

本周推荐系统研究围绕三条主线展开：工业界把生成式范式迁移到已有排序/召回链路、用户语义信号（自然语言理由、推理轨迹）进入推荐特征空间、长序列压缩与记忆的自演化。 主线一：生成式升级走"平滑迁移"路线。 Meta 的 LIGE-GR 把成熟的 pointwise 排序泛化为 listwise 生成与评估，在 Instagram Reels 提升 time spent 1.14%、Facebook Video 0.72%，且只需适度额外推理资源。阿里巴巴国际数字商业的 LazFormer 用生成式预训练为排序同时提供稀疏与稠密参数初始化，再用可迁移残差适配器解决稠密参数负迁移。两条路线的共同指向是——不替换服务基础设施，只改写表征与优化目标。 主线二：用户语义信号成为一等文本信号。 快手的 SARA 把用户自然语言偏好解释（AURs）从 86,564 位作者扩展到 10M 作者空间，并把正负 rationale 送进生产排序。阿里巴巴的 CoFree 针对 LLM embedding 中的 reasoning collapse，用 embedding-oriented 与 reasoning-oriented 双奖励做端到端耦合优化，CoFree-4B 在 MTEB 与 BRIGHT 共 22 个数据集上相对 Qwen3-Embedding-4B 平均绝对提升 2.8 nDCG@10。 主线三：长序列压缩与记忆隔离。 腾讯的 ChronicleRec 把超长行为序列一次性压成时间锚定的 Chronicle Tokens，按用户缓存，解耦超长序列建模与在线候选打分。LION 则指出持续演化会引发 evolution conflict——异构偏好漂移在共享自回归参数空间内互相冲突，主导行为模式会压制长尾模式，解法是以稀疏 Key-Value 记忆层做参数隔离。

本周 14 篇工作集中在三条技术主线上：跨阶段联合优化、电商搜索的业务目标对齐、以及多模态与检索表示中的信号保真。 主线一：级联系统的联合优化取代分阶段调参。 快手的 UniRec 把粗排与精排的融合模块放进同一计算图联合训练，线上 app usage duration +0.616%；华为的 PTDG 用低秩近似按 item 动态重连任务依赖强度，线上 CVR +1.2%、eCPM +1.9%；滴滴的 ALIGN-HOLD 则把 hold 策略的奖励从手工组合换成偏好模型学出来的密集信号，28 天 A/B 覆盖日均约 10 万次请求。三篇的共同指向是——级联阶段的独立调优已经触到天花板，收益要来自阶段间的梯度流动。 主线二：电商搜索从"语义相关"转向"业务对齐"。 阿里巴巴的 SAM-D2Q 用强化学习偏好对齐替代纯文本的 Doc2Query 扩展，AliExpress 线上 GMV +3.38%、Pay Count +2.27%；华为的 IGPO 走 training-free 路线，把策略与库存事实解耦，线上 CTR 相对提升 3.17%、审核 bad case 减少 38.9%。两篇都不改模型主体，改的是优化目标与决策边界。 主线三：多模态与检索表示中的信号衰减开始被显式建模。 小红书相关团队的 LARK 提出"跨模态稀释"并给出一套潜在对齐方案；MURAL 用不确定度感知融合压制噪声模态；Embedding Surgery 则在稠密检索侧做局部嵌入修正，DL-Hard 上 nDCG@10 相对提升最高 60.64%。

本周推荐系统研究围绕三条主线展开：生成式推荐从单点召回组件走向覆盖排序与推理的工业级框架；CTR 建模范式重新组织上下文单元以对齐真实决策过程；召回侧则在多兴趣与多模态的叠加下重新收敛效率与成本。 主线 1：生成式推荐从“解码物品”走向“统一生成与推理”。 腾讯的 TGR 将生成式范式推进到排序、端到端生成和推理注入三个方向，其中 CCFormer 在五个 A/B 场景取得显著提升；百度 ICGR 把查询意图一致性贯穿 SID 构建、SFT 与偏好优化全链路，线下 Recall@20 提升 21.7%。共同指向是——生成式推荐不再止步于“用模型替代索引”，而是开始重构排序与召回之间的边界。 主线 2：统一 CTR 模型开始以“上下文”为基本单元。 美团 UniCon 把请求上下文当作同质单元，统一历史与目标的结构，线上 RPM 提升 3.09%；字节 ReST 则在行为序列上验证了 LLM 式 Transformer 在基准上饱和后仍可沿推荐原生设计继续扩展。两篇的共同指向是——推荐特有的信号噪声与计算不对称需要架构级的重新设计，而非简单搬用 NLP 缩放法则。 主线 3：召回侧的成本意识回归。 Snap 的 SetMIR 把多兴趣召回建模为集合预测，用 presence score 动态削减 33% 的 ANN 查询；同一团队的 CAMIE 用单个多模态编码器替换碎片化的 I2I 检索栈；Mubadala 的 PULSAR 用两阶段池化索引把中位向量检索延迟降低 15.1 倍。三者的共同逻辑是——召回的性能度量不再只有准确率，查询预算和索引体积正在成为一等的优化目标。

本周推荐系统研究围绕三条技术主线展开：语义 ID（Semantic ID）的工程化打磨进入深水区、检索系统从"静态管道"转向"查询自适应"、以及 LLM/Agent 在推荐链路中的角色从"增强组件"演化为"闭环决策者"。 主线 1：语义 ID 从"能生成"走向"能用、好维护、不漂移"： 快手的两篇工作分别从码本结构和动态更新入手——单级大码本替代多级残差量化，把三级 SID 压成两级，自回归解码 FLOPs 降了 47.93%-48.70%，在线消费指标 +0.792%；TAGR 则针对直播广告场景设计了动态语义 ID（LSID），进房率 +8.5%、收入 +16.1%。腾讯的 Tlow 用 flow-based 变换替代 RQ-VAE 解决码本依赖问题，在微信多模态检索中 CTR 提升 10.32%。三篇工作共同指向一个判断——SID 的工程稳定性（而非生成准确率）已经成为落地瓶颈。 主线 2：检索效率从"一刀切"转向"查询与场景自适应"： Alibaba 的 TransRetrieval 用加权平均聚合解决特征异质性导致的 token-norm 发散，在 40 亿交互数据集上验证了 log-linear scaling，线上收入 +2.53%。AdaWidth 则更进一步——为不同查询动态分配不同维度的嵌入宽度，在 6 个任务上以 55%-84% 更少的维度持平 SOTA 的 NDCG@10。VK 的多哈希用户嵌入将 ID 嵌入表缩减 98%，单节点时序邻居采样成本从 O(deg(v)+k) 降到 O(log(deg(v))+k)。效率优化的粒度正在从"系统级"下探到"查询级"。 主线 3：LLM/Agent 从"推荐引擎"走向"系统自我进化的驱动者"： Alibaba 的 Astar 把"提出演化方向"这个此前依赖资深专家的环节交给模型——Astar-8B 在真实执行评估中单次提案成功率 0.6786，是人类专家（0.3229）的两倍。PayPal 的 SCOUT 则把 MCP 工具暴露重构为上下文选择问题，工具 token 消耗从 140.2k 降到 1.3k（降 99%）。这两篇都指向同一个趋势：LLM 不再只是推荐模型的一部分，而是开始接管推荐系统自身的迭代过程。

本周（2026-08-16 ~ 2026-08-22）推荐系统研究围绕三条主线展开：工业级系统从"分场景模型"走向"统一架构"、生成式推荐从"能离线跑"转向"可上线服务"、Agent 化推荐进入工程化和评估规范化阶段。 主线1：统一架构加速整合多业务流。 小红书的 OneModel 用单个模型统一自然推荐、广告和商家三条流量线，线上广告侧 CTR 提升 8.18%；Meta 的 UniDot 从 FM 点积视角统一序列建模与特征交互。两篇工作的共同指向是——存储和算力红利消退后，多场景碎片化部署的工程成本成为主要矛盾。 主线2：生成式推荐加速落地。 快手的 OGR 实现了端到端生成有序 slate，线上 Effective Views 提升 1.120%，NDCG@5 在工业数据上提升 48.2%。EchoRec 将多 token 预测从效率工具拓展为密集监督信号。生成式推荐本周的关键词是"产出物"——不只是生成单个 item，而是生成有序列表。 主线3：Agent 化推荐系统的工程化。 阿里巴巴的 PILOT 将 LLM agent 用于实验管理和策略搜索，搜索效率从 53.3% 提升到 93.3%；微软的 AdsWorldEngine 在对话广告场景让 agent 与工具协同进化，线上 RPM 提升 22%。Agent 推荐正在从单点推理走向流程治理。

本周推荐系统研究以工业部署论文领跑。Netflix、Yandex、Meta、LinkedIn、快手、阿里、字节各自拿出了线上 A/B 结果，密集程度在本年度少见的。如果只看一个趋势——生成式推荐正在从实验室验证阶段转向"用单一模型替换整个生产级联"的系统工程阶段。 主线 1（生成式推荐的两个方向）： Yandex Music 的 Sona 用单一生成式模型替换了超过 15 个候选生成器加预排序/排序的完整级联，Active Users +4.53%。Netflix 的 GenRec 走了另一条路——不替换级联，而是用 LLM 排序器作为精排层，A/B 中相对生产排序器取得统计显著提升。同一周内两条路线并行验证，是本周论文密度最高的信号。而快手的 PushDualGen 则在解决生成式推荐的可解释性：生成 SID 后附带一段可跳过的 copy 作为解释，有效播放率 +8.50%，不满率 -37.70%。 主线 2（因果推断从理念走向部署）： LinkedIn 的决策中心因果优化框架在 Feed 营销流量上实现 +7.20% 长期价值提升，把因果效应估计、贝叶斯 bandit 和线性规划分配统一到一个目标下。Meta 的 MARCO 更微观——用点击类型作为自由行为标签分解点击意图，每点击转化 +2.80%。两篇的共同指向：因果推荐不再只是论文里的去偏技巧，而是生产系统里可落地的收益来源。 主线 3（多任务与全链路优化的系统工程化）： 阿里的 IntHQ 在高德部署，处理生成式推荐里多任务学习的三个 collapse 问题，UVCTR +1.60%。阿里的 DREAM 则在淘宝首页用智能体元控制架构在现有流水线之上叠加策略层，IPV +2.06%。字节的 TM20K 把电商行为序列扩展到 2 万长度，ADSS +1.036% 而服务延迟只增 5.6%。

本周推荐系统研究围绕三条技术主线展开：生成式推荐从概念验证走向端到端工程落地、LLM 从排序辅助进入核心决策环节、预训练-持续刷新范式重新定义知识归属。工业界论文过半，Yandex、快手、字节、腾讯、Snap、Shopee、LinkedIn、京东、微软、华为均有部署论文，且大多附带线上 A/B 数据。 主线 1：生成式推荐走出「生成即召回」原型，向端到端单模型演进。 Yandex 的 Gryphon-v2 用单个模型替代 15 个候选生成器、粗排与精排的完整级联，活跃用户 +1.41%；Snap 把 LLM 生成式召回推进到短视频场景，View Time +0.37%。两者共同指向——生成式架构的工程瓶颈（排序目标传递、推理成本、资格约束）正在被逐个拆解。 主线 2：LLM 从排序辅助进入高风险决策环节。 腾讯 SeqLLM 为支付风控注入行为序列建模，商户筛查精度从 92.0% 提到 97.5%；快手 HOBA 用 LLM 推理超参数、SARSA 选专家、专家池执行，三层结构让竞价决策在线自适应，目标成本 +3.6%。百度 QDET 用 7B 模型在时间线摘要任务上追平 DeepSeek-R1-671B，CTR +5.5%。 主线 3：预训练-持续刷新的范式开始重划「知识」与「几何」的归属。 Shopee 的 KGD 用行为多 token 预测清洗预训练知识、锚定校准残差解耦任务几何，GMV/用户 +1.75%，90 天生产流验证无衰减。这条线指向一个判断：预训练推荐模型的下一个战场不是更大的模型，而是如何在持续分布漂移中守住已学知识、同时让下游适配不被梯度干扰。

本周推荐系统研究呈现三条交织的技术主线：生成式推荐的工业部署密度达到新高，多家公司密集披露线上收益；LLM 推荐从显式推理转向潜在推理，推理成本成为规模化部署的首要约束；工业基础设施论文集中解决训练-服务不一致、推理计算复用和冷启动问题。三条线共同的指向是——推荐系统正从"模型能力竞赛"转向"系统工程竞赛"。 主线 1：生成式推荐进入多目标、可控的工业化阶段。 快手的 Multi-Decoder OneRec 用多解码器结构解耦共享表示与目标特化，线上 app 使用时长 +0.37%、冷启动 +2.09%；京东的 OxygenREC-v2 以 3B 参数 MoE 将判别信号内化进生成式骨干，GMV 提升 2.8%-6.8%。生成式推荐的竞争焦点从"能不能召回"转向"能不能控方向、调目标"。 主线 2：LLM 推荐的推理方式从显式 CoT 转向潜在推理。 快手的 WhisperRec 将教师 CoT 压缩为潜在 token，SID@64 提升 17.44%，在线推理吞吐量提升超 10 倍；LaRec 用个性化高斯混合分布采样推理起点，探索多路径潜在推理。显式推理的质量天花板仍在，但推理成本决定了谁能在线上活下来。 主线 3：工业推荐系统的工程深化。 Meta 的 ROCS 将请求侧计算共享从特征交互扩展到序列模型，检索模型 QPS 提升 3 倍；Memory Layer 用与模型共训的键值缓存统一训练-服务表示，NE gap 缩小 86%。训练和服务的结构性对齐，正在成为比模型结构更重要的优化杠杆。

本周推荐系统研究围绕三条技术主线展开。生成式推荐从侧重“能生成”转向“生成得好且经济”——BARGE 解决了语义 ID 的单序列扁平化问题，TSGR 将商业价值嵌入检索过程，DLMRec 用扩散替代自回归。排序模型侧向于统一架构与不确定性建模：WHALE 融合 Wukong 和 HSTU 两种高性能主干，UAME 将预测不确定性用作标签偏差的校正项。LLM 应用从纯推理转向状态化与闭环优化：RecGPT-V3 引入持续用户记忆，RECAP 用 GRPO 优化用户画像。 生成式推荐从“能跑”走向“跑得稳”： 腾讯的 BARGE 识别出生成式推荐的两个结构性缺陷——多 token ID 序列化破坏物品级结构、分层码本训练推溯不一致导致语义漂移。BARGE 通过 Item Context-Aware Attention（ICA）恢复物品级上下文，配合 Hierarchical Path Reranking 和 Dual-Path Decoding 将线上 CTR 提升 0.60%。与此同时，阿里巴巴的 TSGR 从另一个角度切入：让语义 ID 编码过程本身就对商业价值敏感，线上 GMV 增长 1.64%。两篇的共同指向是——生成式推荐的核心瓶颈不在生成能力，而在 ID 设计与解码结构。 排序模型走向架构统一与可解释的不确定性： Meta 的 WHALE 将 Wukong（高阶非序列特征交互）和 HSTU（长用户行为序列）在每一层通过注意力融合模块连接，让高阶特征交叉能反复从长历史中检索细粒度证据。不替换现有主干，而是让它们协同工作。快手的 UAME 改变了一个基础假设：用户满意度标签本身就是有偏的行为代理，模型不应该忽略这种不确定性。UAME 将预测建模为高斯分布，用不确定性程度加权样本损失，在短视频推荐上用户满意度提升 0.32%。 LLM 应用从辅助工具到推荐核心引擎： 淘宝的 RecGPT-V3 是一个里程碑式的系统级更新——Memory Hub 将用户建模计算削减 55.8%，Latent Intent Reasoning 将输出 token 成本降低 200 倍，同时 GMV 增长 3.97%。它证明多模态推理可以在线上以可接受的资源代价运行。快手的 RECAP 用 GRPO 优化 LLM 生成的用户画像，线上用户使用时长提升 0.139%。结合之前的研究，LLM 在推荐中的应用正在从“能不能用”转向“怎么用得既好又省”。