深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

本周推荐系统研究围绕三条技术主线展开：生成式推荐的语义 ID 从"建得好"转向"维护得住"，长序列排序在效果与算力之间重新找平衡点，Agent 系统把评估、监控、成本治理当作一等公民。 主线 1：语义 ID 进入运维期，核心问题从编码转向时序稳定与解码个性化。 快手 OneLatent（线上广告收入 +9.6%，推理吞吐提升超 17 倍）把显式 CoT 压进 latent token。阿里巴巴/天猫的 SID 拓扑保持在 67 天日志上量化出映射更新会让 HitRate 掉 41.78%–62.05%，最终线上 GMV +1.16%。优酷 SPAR 用前缀平衡的 RQ-PIB 把最大子分支流量份额压降 32.84%，线上观看时长 +3.95%。三篇的共同指向是——语义 ID 的价值不再只由码本质量决定，更取决于码本随时间漂移时的应对策略与每一层解码时的用户证据注入。 主线 2：长序列排序的算力账单被摆到台面。 快手 ECHO 在 100K 序列长度下把在线序列分支 FLOPs 降低约 160 倍，离线 GAUC 提升 0.113%–1.520%，线上 app usage time +0.613%。Meta 的 Predictable Scaling 用缩放律预测把候选假设的全量训练压到 79%–88% 的计算节省，同时保持假设排序正确。两者都在回答同一个问题——序列越长、模型越大，靠堆算力换效果的路还能走多远。 主线 3：Agent 推荐的评估、归因、监控成为独立工程问题。 阿里 UserArena 用 64,729 条真实会话轨迹搭出可对照生产 A/B 的交互式基准。Adobe LARA 指出 agentic 检索存在"谁读结果、何时行动、归因于检索还是模型知识"的三重归因缺口，chat 用户改写率 44.4% 高于 gallery 的 33.1%。大型美国零售商 MOSS 把 LLM 相关性评分嵌入循环监控，部署六个月发现两个线上缺陷，其中一个修复后告警率相对下降 76.4%。评估不再是排行榜，而是一条持续运行的生产管线。

本周三篇工作指向同一个底层问题：推荐系统的算力、监督信号和特征资产，该如何按"实际贡献"而非"名义规模"来分配。TransX 把序列转导拆成可独立扩展的组件并解耦训练与服务，EWM 用解释重构延迟奖励的信用分配，FORTE 把特征下线做成可日更的工程流程。三者方法不同，但都在回答"哪些计算、哪些信号、哪些特征真的有用"。 主线一：生成式推荐的扩展从"堆模型"转向"配算力"： LinkedIn 的 TransX 报告了一个反直觉的观察——编码器在固定记忆分辨率下加深到中等深度后就饱和，继续加监督信号反而应该把预算挪给候选条件融合。它线上 CTR +6.02%、转化 +4.45%，同时服务成本降近 80%。这说明容量增长和服务成本可以脱钩。 主线二：延迟奖励的信用分配开始借外力： EWM 不再依赖时间接近性传播奖励，而是让前沿语言模型生成"哪些早期事件导致了当前结果"的解释，再用保守分层算子把奖励递归重分配回去。在 Crafter、WordCraft 上奖励越延迟，相对 PPO 和 LaRe 的增益越大。 主线三：特征资产生命周期被当成独立工程问题： Pinterest 的 FORTE 在搜索相关性模型上移除了 43.3% 的特征，在大型排序模型上减少 29.9% 可训练参数、服务吞吐提升 19.8–25.5%，且线上 A/B 无回退。特征下线第一次有了可预测线上结果的离线流程。

本周推荐系统研究围绕三条主线展开，工业部署论文与学术工作交替推进。 主线 1——搜索链路的重排与监督信号再分配： Airbnb 的 SIFT 把 filter ranking 从手工 ETL 特征迁移到 Transformer 序列建模，线上推荐 filter 互动 +20.0%；Elastic 的 VLM Teacher 监督研究 显示，把教师信号花在负样本判定上比增强正样本更划算，ViDoRe v2 nDCG@5 从 55.2 提到 62.6/63.0。两篇共同指向同一件事——搜索链路的收益正从"换模型"转向"监督信号怎么分配"。 主线 2——大规模训练与在线优化的算子级与框架级改进： Google AI-Hypercomputer 的 CutBCE 把多标签 BCE 的 logits 挤出 HBM，8 芯片 TPU 上训练提速 225.9%；Meta 的 Population Evolution 用跨任务共享实验账本把排序任务局部增益从 7.01% 提到 8.97%；同属 Meta 的十亿级缩略图 MAB 系统 在 O(B) 规模上把探索先验交给深度视觉质量模型。 主线 3——生成式推荐的细粒度偏好对齐： Walmart 的 QGDPO 用 DPO 过滤 Doc2Query 的幻觉与重复预测，消除 50% 无关预测；AIMS 把单条历史事件的删除干预效应转成排序 margin 监督。两篇的切入点是——训练信号正在从"整体输出好"细化到"哪一部分在起坏作用"。

本周推荐系统研究可以归到三条主线上，共同点是从"方法有效"转向"方法在生产里成立"。 主线一：生成式推荐从单点创新走向端到端工程化。 抖音广告的 GEAR 把 tokenizer、generator、reranker 放进同一个可微框架，正面处理表示坍缩与物品碰撞这对耦合瓶颈；腾讯的 KuaFu 把十亿级用户行为压缩成 item 级 token；GRP v0.1 用单个 encoder-decoder 同时承担召回、排序与奖励建模。三篇都指向同一个问题——生成式检索的瓶颈已经不在模型容量，而在 tokenizer 稳定性与 serving 成本。 主线二：LLM 用户理解的收益边界开始被划清。 生产流媒体平台的对照实验发现，LLM 生成画像只在探索型用户上优于聚合画像，而在占约五分之四的惯常消费人群上反而更弱。这是一个反直觉但可操作的结论，直接决定了画像策略应该按消费模式动态选择，而不是全局替换。 主线三：训练基础设施与检索架构被当作独立议题拆解。 Meta 的 ETT 把训练生命周期开销量化为可归因指标，fleet 级 ETT% 从约 80% 抬到 90% 以上；TikTok 的 HELIX 与 LinkedIn 的 ESP 则在排序与召回的结构层面做非对称扩展和多目标解耦。这些工作单看增量有限，但合起来说明工业系统的主要收益来源正在从"换模型"转向"改结构"。

本周工业界论文密度明显高于往常。TikTok、快手、百度、Google、LinkedIn、Meta、Spotify、Walmart 都拿出了带线上 A/B 的系统论文，覆盖从召回、粗排、精排到出价的完整链路。另一条线是评估与数据质量——Netflix 的反事实可观测性框架、Meta 的合成数据过滤，以及一篇质疑 LLM 重排评估协议的实证审计。 主线一，生成式召回的连续空间与统一级联。 X-Rec（ByteDance）放弃 semantic ID 的离散 token 路径，改在连续 item embedding 空间用 flow matching 直接学推荐分布，推理吞吐是 SID-AR 的 3.46 倍，TikTok 垂直内容互动 +4.1484%。OneTrans-V2 则把召回/粗排/精排压进一个 Transformer，GMV +9.74%、同硬件吞吐 3.2 倍。两者的共同指向是——生成式推荐的瓶颈已经从"能不能生成"转移到"生成路径的吞吐与检索精度如何兼得"。 主线二，工业系统在评测口径上的自我修正。 Recall Ceiling 发现 LLM 重排常用的 oracle 协议把 NDCG@10 高估了 92–95%，真实检索的 Recall@100 只有 2–19%，天花板直接锁死了重排的上限。FROST（Meta）则从数据侧入手，用真实数据梯度锚定合成样本效用，过滤掉 20–30% 合成数据反而提升下游效果。这类工作不产出新模型，但会改变别人怎么读别人的结果。 主线三，MoE 与参数继承成为 scaling 的工程抓手。 IntBMoE（Alibaba AMap）通过 block-conditioned 专家组合把 MoE 的参与度、执行量、物化量三者解耦，60ms 延迟下服务数亿用户，UVCTR +2.4%。Inherit4Rec（快手）则用参数继承做稠密到稀疏的平滑转换。两条路都在回答同一个问题：容量怎么涨，而延迟不涨。

本周推荐系统研究围绕三条主线展开：工业界把生成式范式迁移到已有排序/召回链路、用户语义信号（自然语言理由、推理轨迹）进入推荐特征空间、长序列压缩与记忆的自演化。 主线一：生成式升级走"平滑迁移"路线。 Meta 的 LIGE-GR 把成熟的 pointwise 排序泛化为 listwise 生成与评估，在 Instagram Reels 提升 time spent 1.14%、Facebook Video 0.72%，且只需适度额外推理资源。阿里巴巴国际数字商业的 LazFormer 用生成式预训练为排序同时提供稀疏与稠密参数初始化，再用可迁移残差适配器解决稠密参数负迁移。两条路线的共同指向是——不替换服务基础设施，只改写表征与优化目标。 主线二：用户语义信号成为一等文本信号。 快手的 SARA 把用户自然语言偏好解释（AURs）从 86,564 位作者扩展到 10M 作者空间，并把正负 rationale 送进生产排序。阿里巴巴的 CoFree 针对 LLM embedding 中的 reasoning collapse，用 embedding-oriented 与 reasoning-oriented 双奖励做端到端耦合优化，CoFree-4B 在 MTEB 与 BRIGHT 共 22 个数据集上相对 Qwen3-Embedding-4B 平均绝对提升 2.8 nDCG@10。 主线三：长序列压缩与记忆隔离。 腾讯的 ChronicleRec 把超长行为序列一次性压成时间锚定的 Chronicle Tokens，按用户缓存，解耦超长序列建模与在线候选打分。LION 则指出持续演化会引发 evolution conflict——异构偏好漂移在共享自回归参数空间内互相冲突，主导行为模式会压制长尾模式，解法是以稀疏 Key-Value 记忆层做参数隔离。

本周 14 篇工作集中在三条技术主线上：跨阶段联合优化、电商搜索的业务目标对齐、以及多模态与检索表示中的信号保真。 主线一：级联系统的联合优化取代分阶段调参。 快手的 UniRec 把粗排与精排的融合模块放进同一计算图联合训练，线上 app usage duration +0.616%；华为的 PTDG 用低秩近似按 item 动态重连任务依赖强度，线上 CVR +1.2%、eCPM +1.9%；滴滴的 ALIGN-HOLD 则把 hold 策略的奖励从手工组合换成偏好模型学出来的密集信号，28 天 A/B 覆盖日均约 10 万次请求。三篇的共同指向是——级联阶段的独立调优已经触到天花板，收益要来自阶段间的梯度流动。 主线二：电商搜索从"语义相关"转向"业务对齐"。 阿里巴巴的 SAM-D2Q 用强化学习偏好对齐替代纯文本的 Doc2Query 扩展，AliExpress 线上 GMV +3.38%、Pay Count +2.27%；华为的 IGPO 走 training-free 路线，把策略与库存事实解耦，线上 CTR 相对提升 3.17%、审核 bad case 减少 38.9%。两篇都不改模型主体，改的是优化目标与决策边界。 主线三：多模态与检索表示中的信号衰减开始被显式建模。 小红书相关团队的 LARK 提出"跨模态稀释"并给出一套潜在对齐方案；MURAL 用不确定度感知融合压制噪声模态；Embedding Surgery 则在稠密检索侧做局部嵌入修正，DL-Hard 上 nDCG@10 相对提升最高 60.64%。

本周推荐系统研究围绕三条主线展开：生成式推荐从单点召回组件走向覆盖排序与推理的工业级框架；CTR 建模范式重新组织上下文单元以对齐真实决策过程；召回侧则在多兴趣与多模态的叠加下重新收敛效率与成本。 主线 1：生成式推荐从“解码物品”走向“统一生成与推理”。 腾讯的 TGR 将生成式范式推进到排序、端到端生成和推理注入三个方向，其中 CCFormer 在五个 A/B 场景取得显著提升；百度 ICGR 把查询意图一致性贯穿 SID 构建、SFT 与偏好优化全链路，线下 Recall@20 提升 21.7%。共同指向是——生成式推荐不再止步于“用模型替代索引”，而是开始重构排序与召回之间的边界。 主线 2：统一 CTR 模型开始以“上下文”为基本单元。 美团 UniCon 把请求上下文当作同质单元，统一历史与目标的结构，线上 RPM 提升 3.09%；字节 ReST 则在行为序列上验证了 LLM 式 Transformer 在基准上饱和后仍可沿推荐原生设计继续扩展。两篇的共同指向是——推荐特有的信号噪声与计算不对称需要架构级的重新设计，而非简单搬用 NLP 缩放法则。 主线 3：召回侧的成本意识回归。 Snap 的 SetMIR 把多兴趣召回建模为集合预测，用 presence score 动态削减 33% 的 ANN 查询；同一团队的 CAMIE 用单个多模态编码器替换碎片化的 I2I 检索栈；Mubadala 的 PULSAR 用两阶段池化索引把中位向量检索延迟降低 15.1 倍。三者的共同逻辑是——召回的性能度量不再只有准确率，查询预算和索引体积正在成为一等的优化目标。

本周推荐系统研究围绕三条技术主线展开：语义 ID（Semantic ID）的工程化打磨进入深水区、检索系统从"静态管道"转向"查询自适应"、以及 LLM/Agent 在推荐链路中的角色从"增强组件"演化为"闭环决策者"。 主线 1：语义 ID 从"能生成"走向"能用、好维护、不漂移"： 快手的两篇工作分别从码本结构和动态更新入手——单级大码本替代多级残差量化，把三级 SID 压成两级，自回归解码 FLOPs 降了 47.93%-48.70%，在线消费指标 +0.792%；TAGR 则针对直播广告场景设计了动态语义 ID（LSID），进房率 +8.5%、收入 +16.1%。腾讯的 Tlow 用 flow-based 变换替代 RQ-VAE 解决码本依赖问题，在微信多模态检索中 CTR 提升 10.32%。三篇工作共同指向一个判断——SID 的工程稳定性（而非生成准确率）已经成为落地瓶颈。 主线 2：检索效率从"一刀切"转向"查询与场景自适应"： Alibaba 的 TransRetrieval 用加权平均聚合解决特征异质性导致的 token-norm 发散，在 40 亿交互数据集上验证了 log-linear scaling，线上收入 +2.53%。AdaWidth 则更进一步——为不同查询动态分配不同维度的嵌入宽度，在 6 个任务上以 55%-84% 更少的维度持平 SOTA 的 NDCG@10。VK 的多哈希用户嵌入将 ID 嵌入表缩减 98%，单节点时序邻居采样成本从 O(deg(v)+k) 降到 O(log(deg(v))+k)。效率优化的粒度正在从"系统级"下探到"查询级"。 主线 3：LLM/Agent 从"推荐引擎"走向"系统自我进化的驱动者"： Alibaba 的 Astar 把"提出演化方向"这个此前依赖资深专家的环节交给模型——Astar-8B 在真实执行评估中单次提案成功率 0.6786，是人类专家（0.3229）的两倍。PayPal 的 SCOUT 则把 MCP 工具暴露重构为上下文选择问题，工具 token 消耗从 140.2k 降到 1.3k（降 99%）。这两篇都指向同一个趋势：LLM 不再只是推荐模型的一部分，而是开始接管推荐系统自身的迭代过程。

本周（2026-08-16 ~ 2026-08-22）推荐系统研究围绕三条主线展开：工业级系统从"分场景模型"走向"统一架构"、生成式推荐从"能离线跑"转向"可上线服务"、Agent 化推荐进入工程化和评估规范化阶段。 主线1：统一架构加速整合多业务流。 小红书的 OneModel 用单个模型统一自然推荐、广告和商家三条流量线，线上广告侧 CTR 提升 8.18%；Meta 的 UniDot 从 FM 点积视角统一序列建模与特征交互。两篇工作的共同指向是——存储和算力红利消退后，多场景碎片化部署的工程成本成为主要矛盾。 主线2：生成式推荐加速落地。 快手的 OGR 实现了端到端生成有序 slate，线上 Effective Views 提升 1.120%，NDCG@5 在工业数据上提升 48.2%。EchoRec 将多 token 预测从效率工具拓展为密集监督信号。生成式推荐本周的关键词是"产出物"——不只是生成单个 item，而是生成有序列表。 主线3：Agent 化推荐系统的工程化。 阿里巴巴的 PILOT 将 LLM agent 用于实验管理和策略搜索，搜索效率从 53.3% 提升到 93.3%；微软的 AdsWorldEngine 在对话广告场景让 agent 与工具协同进化，线上 RPM 提升 22%。Agent 推荐正在从单点推理走向流程治理。