深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

Meta HSTU（Actions Speak Louder than Words）精读笔记：样本组织、任务重述、HSTU 结构，以及训练和推理加速。

YouTube 把 REINFORCE 用在召回上，拿到当年最大的单项收益。拆解它怎么解决 off-policy 偏差和 top-k 推荐这两个难点。

本周工业界论文的密度继续走高——37 篇里有 20 余篇带线上结果或生产部署。三组技术信号最清晰：生成式推荐的瓶颈从"能否生成"移到"生成得对不对"，重排与混排开始把整条链路压进单个自回归解码器，Agent 推荐则从调用工具走向自我反思与奖励建模。 生成式推荐：语义 ID 的量化误差与解码漂移成为主攻方向。 快手的 BRIDGE 把 RQ-VAE 量化过程与解码器之间的信息断层命名为"语义量化鸿沟"，用码本锚定的隐式推理、特权 EMA 自蒸馏、深度感知计算分配三项机制分别弥合 grounding/neighborhood/difficulty 三类偏差，三个 Amazon 基准上 Recall@10 平均提升 10.9%，快手线上 A/B 广告 eCPM +0.65%。Meta 的 CAP-Mix 走另一条路——干脆不用硬量化，把物品表示为共享原型的软混合加物品特定向量，HR@5 比同 tokenizer 的硬 SID 表高 4.45–14.90%，推理吞吐是离散基线的 1.4–161 倍。两者的共同指向是：SID 的离散化本身正在成为生成式召回的信噪比天花板。 重排与混排：从手工规则走向端到端生成。 字节的 OneTrans-GSR 用单个 decoder-only Transformer 统一重排与混排，奖励模型评估完整曝光列表引导 RL，线上 GMV/u +2.63%、广告主价值 +2.06%、复购率 +2.03%，端到端延迟反降 13%。淘宝的 ICE 则从评估器入手，指出传统"独立行为建模"把连续浏览旅程压成逐条 CTR 预测会系统性偏差，改为显式建模展示→曝光→点击的因果链，14 天 A/B 点击 +0.70%、收入 +3.67%。两篇都在回答同一个问题：列表级目标无法用逐条打分拼出来。 Agent 推荐：反思、奖励与质量归因三条支线。 快手的 EvoRec 用动态反思树把失败轨迹转成可复用策略，且不需要更新任何参数，线上广告收入 +4.6%、高意图用户 +14.5%。淘宝的 E-GenRM 训练 27B 生成式奖励模型给购物 Agent 做偏好判别，E-GenRM-Bench 上偏好准确率 87.40%（超最强基线 6.97pp），14 天 A/B 用户满意度 +2.33pp。快手的 WISE 则把 Agent 用在反方向——诊断系统本身哪里坏了。

本周的推荐系统研究呈现出一个清晰的分野：生成式推荐的重心从"能不能生成"转向"生成得划不划算"，而传统排序架构的改进则集中在异构信号的粒度对齐上。 主线 1：生成式检索开始拆解自己的成本结构。 标准自回归接口要为 SID 长度付两次钱——历史以 T×K 个 code token 进骨干，每步 beam search 又要过一遍骨干。Pinterest 的 PinGER 用非对称注意力掩码把输入压成每物品一个 token，服务时 fresh Pins saves +3.60%、端到端延迟 -0.7%；学术侧的 Deco 把 beam search 整体委托给轻量 KV-cached 解码器，在 50 ms p95 预算下吞吐提升 3.2–8.6 倍。Octen-WebGR 则把 2.01 亿网页塞进 4B 模型参数，单卡 10 GB 内存跑完，导航查询 top-1 59.6% 对稠密检索 46.5%。三条路线的共同指向是——生成式检索的瓶颈已经从模型容量移到服务成本。 主线 2：多目标与精排从"多算几步"转向"算得对"。 快手 Refiner 用累积加性修正把潜在推理引入 ID-based 排序，阿里 KL-MOPD 发现多目标 on-policy 蒸馏里教师难度在 token 间分布不均，按初始 KL 散度分配权重，并在加性联合目标下给出严格优于 vanilla MOPD 的证明。两篇都指向同一件事：生成式排序的额外计算必须被精确投放到需要它的位置上。 主线 3：排序架构的粒度对齐。 阿里 HiRank 指出序列与非序列信号的有效秩不同，homogeneous self-attention 在这种异质输入上低效，线上订单/用户 +2.27%；美团 HGE 处理容器级排序与商品级交易的结构错配，线上 RPS +1.42%；Criteo 的 COMPOTE 则证明多假设结构的增益来自退火目标而非容量。三篇的共同点是——错配不在模型容量，在建模单元。

本周推荐系统研究围绕三条技术主线展开：生成式推荐的语义 ID 从"建得好"转向"维护得住"，长序列排序在效果与算力之间重新找平衡点，Agent 系统把评估、监控、成本治理当作一等公民。 主线 1：语义 ID 进入运维期，核心问题从编码转向时序稳定与解码个性化。 快手 OneLatent（线上广告收入 +9.6%，推理吞吐提升超 17 倍）把显式 CoT 压进 latent token。阿里巴巴/天猫的 SID 拓扑保持在 67 天日志上量化出映射更新会让 HitRate 掉 41.78%–62.05%，最终线上 GMV +1.16%。优酷 SPAR 用前缀平衡的 RQ-PIB 把最大子分支流量份额压降 32.84%，线上观看时长 +3.95%。三篇的共同指向是——语义 ID 的价值不再只由码本质量决定，更取决于码本随时间漂移时的应对策略与每一层解码时的用户证据注入。 主线 2：长序列排序的算力账单被摆到台面。 快手 ECHO 在 100K 序列长度下把在线序列分支 FLOPs 降低约 160 倍，离线 GAUC 提升 0.113%–1.520%，线上 app usage time +0.613%。Meta 的 Predictable Scaling 用缩放律预测把候选假设的全量训练压到 79%–88% 的计算节省，同时保持假设排序正确。两者都在回答同一个问题——序列越长、模型越大，靠堆算力换效果的路还能走多远。 主线 3：Agent 推荐的评估、归因、监控成为独立工程问题。 阿里 UserArena 用 64,729 条真实会话轨迹搭出可对照生产 A/B 的交互式基准。Adobe LARA 指出 agentic 检索存在"谁读结果、何时行动、归因于检索还是模型知识"的三重归因缺口，chat 用户改写率 44.4% 高于 gallery 的 33.1%。大型美国零售商 MOSS 把 LLM 相关性评分嵌入循环监控，部署六个月发现两个线上缺陷，其中一个修复后告警率相对下降 76.4%。评估不再是排行榜，而是一条持续运行的生产管线。

本周三篇工作指向同一个底层问题：推荐系统的算力、监督信号和特征资产，该如何按"实际贡献"而非"名义规模"来分配。TransX 把序列转导拆成可独立扩展的组件并解耦训练与服务，EWM 用解释重构延迟奖励的信用分配，FORTE 把特征下线做成可日更的工程流程。三者方法不同，但都在回答"哪些计算、哪些信号、哪些特征真的有用"。 主线一：生成式推荐的扩展从"堆模型"转向"配算力"： LinkedIn 的 TransX 报告了一个反直觉的观察——编码器在固定记忆分辨率下加深到中等深度后就饱和，继续加监督信号反而应该把预算挪给候选条件融合。它线上 CTR +6.02%、转化 +4.45%，同时服务成本降近 80%。这说明容量增长和服务成本可以脱钩。 主线二：延迟奖励的信用分配开始借外力： EWM 不再依赖时间接近性传播奖励，而是让前沿语言模型生成"哪些早期事件导致了当前结果"的解释，再用保守分层算子把奖励递归重分配回去。在 Crafter、WordCraft 上奖励越延迟，相对 PPO 和 LaRe 的增益越大。 主线三：特征资产生命周期被当成独立工程问题： Pinterest 的 FORTE 在搜索相关性模型上移除了 43.3% 的特征，在大型排序模型上减少 29.9% 可训练参数、服务吞吐提升 19.8–25.5%，且线上 A/B 无回退。特征下线第一次有了可预测线上结果的离线流程。

本周推荐系统研究围绕三条主线展开，工业部署论文与学术工作交替推进。 主线 1——搜索链路的重排与监督信号再分配： Airbnb 的 SIFT 把 filter ranking 从手工 ETL 特征迁移到 Transformer 序列建模，线上推荐 filter 互动 +20.0%；Elastic 的 VLM Teacher 监督研究 显示，把教师信号花在负样本判定上比增强正样本更划算，ViDoRe v2 nDCG@5 从 55.2 提到 62.6/63.0。两篇共同指向同一件事——搜索链路的收益正从"换模型"转向"监督信号怎么分配"。 主线 2——大规模训练与在线优化的算子级与框架级改进： Google AI-Hypercomputer 的 CutBCE 把多标签 BCE 的 logits 挤出 HBM，8 芯片 TPU 上训练提速 225.9%；Meta 的 Population Evolution 用跨任务共享实验账本把排序任务局部增益从 7.01% 提到 8.97%；同属 Meta 的十亿级缩略图 MAB 系统 在 O(B) 规模上把探索先验交给深度视觉质量模型。 主线 3——生成式推荐的细粒度偏好对齐： Walmart 的 QGDPO 用 DPO 过滤 Doc2Query 的幻觉与重复预测，消除 50% 无关预测；AIMS 把单条历史事件的删除干预效应转成排序 margin 监督。两篇的切入点是——训练信号正在从"整体输出好"细化到"哪一部分在起坏作用"。

本周推荐系统研究可以归到三条主线上，共同点是从"方法有效"转向"方法在生产里成立"。 主线一：生成式推荐从单点创新走向端到端工程化。 抖音广告的 GEAR 把 tokenizer、generator、reranker 放进同一个可微框架，正面处理表示坍缩与物品碰撞这对耦合瓶颈；腾讯的 KuaFu 把十亿级用户行为压缩成 item 级 token；GRP v0.1 用单个 encoder-decoder 同时承担召回、排序与奖励建模。三篇都指向同一个问题——生成式检索的瓶颈已经不在模型容量，而在 tokenizer 稳定性与 serving 成本。 主线二：LLM 用户理解的收益边界开始被划清。 生产流媒体平台的对照实验发现，LLM 生成画像只在探索型用户上优于聚合画像，而在占约五分之四的惯常消费人群上反而更弱。这是一个反直觉但可操作的结论，直接决定了画像策略应该按消费模式动态选择，而不是全局替换。 主线三：训练基础设施与检索架构被当作独立议题拆解。 Meta 的 ETT 把训练生命周期开销量化为可归因指标，fleet 级 ETT% 从约 80% 抬到 90% 以上；TikTok 的 HELIX 与 LinkedIn 的 ESP 则在排序与召回的结构层面做非对称扩展和多目标解耦。这些工作单看增量有限，但合起来说明工业系统的主要收益来源正在从"换模型"转向"改结构"。

本周工业界论文密度明显高于往常。TikTok、快手、百度、Google、LinkedIn、Meta、Spotify、Walmart 都拿出了带线上 A/B 的系统论文，覆盖从召回、粗排、精排到出价的完整链路。另一条线是评估与数据质量——Netflix 的反事实可观测性框架、Meta 的合成数据过滤，以及一篇质疑 LLM 重排评估协议的实证审计。 主线一，生成式召回的连续空间与统一级联。 X-Rec（ByteDance）放弃 semantic ID 的离散 token 路径，改在连续 item embedding 空间用 flow matching 直接学推荐分布，推理吞吐是 SID-AR 的 3.46 倍，TikTok 垂直内容互动 +4.1484%。OneTrans-V2 则把召回/粗排/精排压进一个 Transformer，GMV +9.74%、同硬件吞吐 3.2 倍。两者的共同指向是——生成式推荐的瓶颈已经从"能不能生成"转移到"生成路径的吞吐与检索精度如何兼得"。 主线二，工业系统在评测口径上的自我修正。 Recall Ceiling 发现 LLM 重排常用的 oracle 协议把 NDCG@10 高估了 92–95%，真实检索的 Recall@100 只有 2–19%，天花板直接锁死了重排的上限。FROST（Meta）则从数据侧入手，用真实数据梯度锚定合成样本效用，过滤掉 20–30% 合成数据反而提升下游效果。这类工作不产出新模型，但会改变别人怎么读别人的结果。 主线三，MoE 与参数继承成为 scaling 的工程抓手。 IntBMoE（Alibaba AMap）通过 block-conditioned 专家组合把 MoE 的参与度、执行量、物化量三者解耦，60ms 延迟下服务数亿用户，UVCTR +2.4%。Inherit4Rec（快手）则用参数继承做稠密到稀疏的平滑转换。两条路都在回答同一个问题：容量怎么涨，而延迟不涨。

本周推荐系统研究围绕三条主线展开：工业界把生成式范式迁移到已有排序/召回链路、用户语义信号（自然语言理由、推理轨迹）进入推荐特征空间、长序列压缩与记忆的自演化。 主线一：生成式升级走"平滑迁移"路线。 Meta 的 LIGE-GR 把成熟的 pointwise 排序泛化为 listwise 生成与评估，在 Instagram Reels 提升 time spent 1.14%、Facebook Video 0.72%，且只需适度额外推理资源。阿里巴巴国际数字商业的 LazFormer 用生成式预训练为排序同时提供稀疏与稠密参数初始化，再用可迁移残差适配器解决稠密参数负迁移。两条路线的共同指向是——不替换服务基础设施，只改写表征与优化目标。 主线二：用户语义信号成为一等文本信号。 快手的 SARA 把用户自然语言偏好解释（AURs）从 86,564 位作者扩展到 10M 作者空间，并把正负 rationale 送进生产排序。阿里巴巴的 CoFree 针对 LLM embedding 中的 reasoning collapse，用 embedding-oriented 与 reasoning-oriented 双奖励做端到端耦合优化，CoFree-4B 在 MTEB 与 BRIGHT 共 22 个数据集上相对 Qwen3-Embedding-4B 平均绝对提升 2.8 nDCG@10。 主线三：长序列压缩与记忆隔离。 腾讯的 ChronicleRec 把超长行为序列一次性压成时间锚定的 Chronicle Tokens，按用户缓存，解耦超长序列建模与在线候选打分。LION 则指出持续演化会引发 evolution conflict——异构偏好漂移在共享自回归参数空间内互相冲突，主导行为模式会压制长尾模式，解法是以稀疏 Key-Value 记忆层做参数隔离。