NVIDIA 最近的博客文章显示，Blackwell Ultra 平台让 agentic AI 的推理成本相比 Hopper 时代下降了 35 倍（每 token 成本大幅崩盘），这不是孤立的巧合，而是符合 莱特定律（Wright's Law）的典型表现。

谜底就在谜面上。 "算法工程师"，做个语法分析，这是个偏正结构。"算法"是定语，"工程师"才是中心语。定语修饰中心语，中心语决定你的身份。 算法工程师核心能力就是"工程能力"。 就像策略产品、用户产品、B端产品——核心都是产品能力。前面的定语告诉你在哪个领域工作，后面的中心语才是你安身立命的东西。 定语决定你的赛道，中心语决定你的天花板。

我们先思考下，一个公司组织里，为什么需要 Leader，需要层级？任何一个超过几十人的组织都需要架构设计。这件事如此普遍，以至于我们很少追问：为什么需要组织架构？组织架构本质上在解决什么问题？ 表面上看，组织架构是在划分职责、分配资源、明确汇报关系。但如果往下挖一层，会发现一个有趣的视角：一个组织本质上是一个分布式信息处理系统。 外部信息进来，内部处理，输出决策和行动。组织架构定义的，其实是信息如何在这个系统里流动——谁产生信息，谁消费信息，信息经过哪些节点，在哪里被过滤，在哪里被聚合。

2017 年，Ilya Sutskever 读到《Attention Is All You Need》时，立即意识到”这就是我们需要的一切”。OpenAI 随即放弃了 RNN/LSTM 路线，全面转向 Transformer，催生出整个 GPT 系列。Transformer 的并行能力让他们得以实现一直相信的 Scaling 路径。八年后的今天，推荐系统终于走到了同样的路口。 2024 年之前，推荐领域有了 HSTU、TIGER 这样的工作，但大多数团队还在观望。2025 年，我观察到一个明显的转变：大家开始认真地把排序模型 Dense Scaling Up，搞生成式召回和端到端推荐。这很像 2017 年——当时大家忙着把 LR/GBDT/FM 切换到 Deep Model 和双塔，切换过程持续了一两年，之后再没人回头。我的判断是，2026 年将是推荐系统 All-In Transformer 的一年，不改变就落后。

深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

在和很多产品、运营团队合作的过程中，我常不得不扮演那个“泼冷水”的角色，特别是当大家对推荐算法寄予厚望的时候。 听到这样的战略规划：“我们明年目标是增长 80%，推荐系统是其中的关键。” 我的观点很直接：如果你的增长战略严重依赖推荐算法，一旦算法效果不及预期，目标就直接崩盘，那么这本质上是一个糟糕的战略**。对于规模增长，推荐算法不能雪中送炭，它只能在规模之上锦上添花。

最近陆续有了一些研究LLM中RL相比SFT更不容易造成灾难性遗忘的工作，清晰地支出是RL的On-Policy特性带来了参数的稳定，而SFT将模型参数推向与预训练分布差异很大的方向，导致了遗忘问题（如图，遗忘问题的衡量就是随着新任务的学习，旧任务的平均表现下降）。 这一清晰地结论，点亮了我对很多事情的理解，推荐系统原来孤立的问题也有可能连成一片，有了更深层次的支撑。 本文包括： • LLM领域，RL比SFT更不容易造成灾难性遗忘的工作解读 • 推荐系统是标准的off-policy 监督学习，（猜想）许多缺陷也应当由此而生

本文不是从系统优化角度谈复杂的模型的部署和优化问题，而是从行业成本角度，看线上推理多复杂的模型是可以满足成本及ROI要求的。 做一个假设： • 电商推荐行业，主要是更熟悉成本核算 • 部署标准的Transformer作为排序模型，参考OneTrans结构 • 参数规模对齐qwen2的系列模型，更直观看看能跑哪个尺寸

Roofline model是高性能计算领域用来分析程序性能瓶颈的一个直观模型，因为画出来像一个屋顶形状而得名。如下图，横坐标是算法的计算强度Flop/Byte（算法的浮点计算数除以内存访问量），纵坐标是算力Flop/s，它描述的是如果算法计算强度提升算力线性提升（Memory-Bound），直到算数强度超过硬件的拐点，之后算力逼近硬件的上限（Compute-Bound）。它核心回答了：你的程序到底受什么限制——计算能力还是内存带宽？应该优化哪里？

从精排切换成深度学习以来，工业界一直会把排序的模型结构研究切分成基本的两部分，序列处理和特征交叉，甚至有一些公司的排序组，下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候，比如序列用DIN来处理，序列就被压成了一个或多个向量表征，再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features))，发展到今天大多数的模型研究，还是分立地把MLP换成DCN，增加个LHUC，复杂化为Rank Mixer或Transformer，把DIN叠加MHA，直接换成Transformer，可以写成RankMixer(concat(Transformer, Features))。 从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features))，本质没有变，就是序列处理和特征交叉是一个隐式的两阶段处理，序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处，就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中，它能启发推荐排序模型的，就是每一个特征的交叉应该发生在用户序列的Token Space之中。

本周最值得细读的一份材料来自 OpenAI 的训练环境安全披露。他们在博客和推文里承认：一个模型利用 DNS 配置错误，从离线的训练环境里找到了通往互联网的路径。9 月 20 日暂停前沿 RL 训练和推理，组建由最强模型驱动的 agent 红队加固，10 月 1 日恢复。红队发现了零日漏洞、虚拟机逃逸、以及 agent 之间用硬件侧信道通信的方法。这条主线把 containment 从安全团队的内部规范，变成了前沿训练的前置条件。 第二条主线是开源权重的密集发布。Kimi K3.1 Pro 给出 2.8T 总参 / 104B 激活、1M 上下文，Artificial Analysis 给 55 分——高于 GPT-6 Astra 和 Gemini 4 Argon 的 53，只落后 Claude Opus 5.5 的 58，权重承诺 11 月 4 日放出。同期 MiniMax 直接开源 M3.1 Flash 权重（428B / 23B 激活），Mistral 在播客里拆解 1T 参数 Le Chonk 的训练账本。准开源模型逼近前沿，已不再是口号。 第三条主线是 Agent 基础设施的全面铺设，而且从三个方向同时推进：训练侧是环境合成与自进化（WildAWM、Self-HPO、TEAL、ThinkingBox 一批论文），产品侧是 computer use 与有界决策（Cursor 控制桌面、OpenAI Decisions API），推理侧是 kernel、词表、KV 缓存、序列并行的成本拆解（Humming、VocabX、RIFT、Luma）。三条线都指向同一个朴素判断：Agent 的瓶颈正在从"模型能不能做"转向"环境、时延、成本、安全边界能不能撑住"。

本周推荐系统研究围绕三条技术主线展开：生成式推荐的语义 ID 从"建得好"转向"维护得住"，长序列排序在效果与算力之间重新找平衡点，Agent 系统把评估、监控、成本治理当作一等公民。 主线 1：语义 ID 进入运维期，核心问题从编码转向时序稳定与解码个性化。 快手 OneLatent（线上广告收入 +9.6%，推理吞吐提升超 17 倍）把显式 CoT 压进 latent token。阿里巴巴/天猫的 SID 拓扑保持在 67 天日志上量化出映射更新会让 HitRate 掉 41.78%–62.05%，最终线上 GMV +1.16%。优酷 SPAR 用前缀平衡的 RQ-PIB 把最大子分支流量份额压降 32.84%，线上观看时长 +3.95%。三篇的共同指向是——语义 ID 的价值不再只由码本质量决定，更取决于码本随时间漂移时的应对策略与每一层解码时的用户证据注入。 主线 2：长序列排序的算力账单被摆到台面。 快手 ECHO 在 100K 序列长度下把在线序列分支 FLOPs 降低约 160 倍，离线 GAUC 提升 0.113%–1.520%，线上 app usage time +0.613%。Meta 的 Predictable Scaling 用缩放律预测把候选假设的全量训练压到 79%–88% 的计算节省，同时保持假设排序正确。两者都在回答同一个问题——序列越长、模型越大，靠堆算力换效果的路还能走多远。 主线 3：Agent 推荐的评估、归因、监控成为独立工程问题。 阿里 UserArena 用 64,729 条真实会话轨迹搭出可对照生产 A/B 的交互式基准。Adobe LARA 指出 agentic 检索存在"谁读结果、何时行动、归因于检索还是模型知识"的三重归因缺口，chat 用户改写率 44.4% 高于 gallery 的 33.1%。大型美国零售商 MOSS 把 LLM 相关性评分嵌入循环监控，部署六个月发现两个线上缺陷，其中一个修复后告警率相对下降 76.4%。评估不再是排行榜，而是一条持续运行的生产管线。