深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

为什么LayerNorm+AdamW成了深度网络的标准配置？从尺度不变性到梯度动力学 

在和很多产品、运营团队合作的过程中，我常不得不扮演那个“泼冷水”的角色，特别是当大家对推荐算法寄予厚望的时候。
听到这样的战略规划：“我们明年目标是增长 80%，推荐系统是其中的关键。”
我的观点很直接：如果你的增长战略严重依赖推荐算法，一旦算法效果不及预期，目标就直接崩盘，那么这本质上是一个糟糕的战略**。对于规模增长，推荐算法不能雪中送炭，它只能在规模之上锦上添花。

从RL比SFT更不容易遗忘到反观推荐系统缺陷

文章全面回顾了2025年LLM领域的重大进展，核心趋势包括推理模型（如OpenAI o系列）和RLVR技术的普及、AI Agent与工具调用的实质性突破。作者指出，以DeepSeek为代表的中国开源模型强势崛起，正在改变市场格局，OpenAI的领先地位受到挑战。此外，文章还深入分析了产品定价策略的演变、用户体验的改进以及技术发展带来的社会影响。

AI 技术日报 - 2026-01-01

文章对2025年大语言模型领域进行了权威回顾与前瞻。核心亮点包括：推理模型（如DeepSeek R1）的兴起，其背后关键的RLVR（强化学习与可验证奖励）和GRPO算法；揭示了此类模型的训练成本可能比预期低一个数量级（约500万美元），后训练成本约29.4万美元；并系统分析了后训练方法的演变路径。文章提供了扎实的数据支撑和深度的行业趋势分析。

AI 技术日报 - 2025-12-31

文章深入剖析了线性注意力模型DeltaNet中为Q和K添加L2归一化的根本原因。核心解释是从特征值约束角度出发，该操作确保了转移矩阵的特征值落在(-1,1]区间内，从而防止递归计算中的数值爆炸。作者进一步提供了新颖的连续时间动力学视角，将递归过程视为微分方程的离散化，并指出数值问题源于离散化精度不足，提出了精确求解的思路。

AI 技术日报 - 2025-12-30

文章深度复盘了Ruby包管理器Bundler如何通过“Compact Index”设计解决RubyGems.org的扩展性危机。它详细剖析了从早期全量序列化的Marshal格式、轻量但不可扩展的`specs.4.8.gz`，到服务器计算负担过重的Bundler API等迭代方案的失败原因。Compact Index的核心创新在于设计了三个缓存友好的HTTP端点（`/names`, `/versio

AI 技术日报 - 2025-12-29

文章深入剖析了Python包管理器`uv`性能远超`pip`的核心原因，指出其成功并非简单地将Python重写为Rust，而是源于对现代依赖解析技术的应用和HTTP协议的巧妙优化。关键优化包括：利用PEP 658元数据和HTTP范围请求，在99%的情况下仅需下载包索引的极小部分（例如18KB而非40MB）；以及将90%以上的版本号打包为紧凑的u64整数，极大加速了比较和哈希操作。

AI 技术日报 - 2025-12-27

LLM深度推理赋能推荐：今日多篇论文（如ReaSeq、小红书搜索）展示了LLM在推荐系统中的范式转变——从浅层特征提取转向深度推理。通过多智能体协作、Chain-of-Thought、生成式行为推理等技术，LLM被用于解决知识贫困、长尾冷启动、相关性建模等核心问题，并已在淘宝、小红书等平台获得显著线上收益。; 强化学习与过程监督优化LLM：针对LLM在特定任务（如相关性判断）中泛化能力不足的问题，工业界开始探索结合强化学习（RL）进行优化。小红书提出的SAM（Stepwise Advantage

Talent Dilution Roofline：你的算法团队可能不需要再招人了？

从精排切换成深度学习以来，工业界一直会把排序的模型结构研究切分成基本的两部分，序列处理和特征交叉，甚至有一些公司的排序组，下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候，比如序列用DIN来处理，序列就被压成了一个或多个向量表征，再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features))，发展到今天大多数的模型研究，还是分立地把MLP换成DCN，增加个LHUC，复杂化为Rank Mixer或Transformer，把DIN叠加MHA，直接换成Transformer，可以写成RankMixer(concat(Transformer, Features))。
从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features))，本质没有变，就是序列处理和特征交叉是一个隐式的两阶段处理，序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处，就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中，它能启发推荐排序模型的，就是每一个特征的交叉应该发生在用户序列的Token Space之中。