深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

为什么LayerNorm+AdamW成了深度网络的标准配置？从尺度不变性到梯度动力学 

在和很多产品、运营团队合作的过程中，我常不得不扮演那个“泼冷水”的角色，特别是当大家对推荐算法寄予厚望的时候。
听到这样的战略规划：“我们明年目标是增长 80%，推荐系统是其中的关键。”
我的观点很直接：如果你的增长战略严重依赖推荐算法，一旦算法效果不及预期，目标就直接崩盘，那么这本质上是一个糟糕的战略**。对于规模增长，推荐算法不能雪中送炭，它只能在规模之上锦上添花。

从RL比SFT更不容易遗忘到反观推荐系统缺陷

文章深入剖析了Python包管理器`uv`性能远超`pip`的核心原因，指出其成功并非简单地将Python重写为Rust，而是源于对现代依赖解析技术的应用和HTTP协议的巧妙优化。关键优化包括：利用PEP 658元数据和HTTP范围请求，在99%的情况下仅需下载包索引的极小部分（例如18KB而非40MB）；以及将90%以上的版本号打包为紧凑的u64整数，极大加速了比较和哈希操作。

AI 技术日报 - 2025-12-27

LLM深度赋能推荐范式：今日多篇论文聚焦于如何将LLM的核心能力（理解、推理、生成）深度融入推荐系统，而非仅作浅层特征提取。淘宝的ReaSeq从表征（显式推理）和样本（隐式推理）两个维度系统性打破“日志驱动”瓶颈；复旦的MMSRARec则探索了MLLM作为推荐器本体（LLM-as-Rec）的新范式，并引入检索增强（RAG）思想。这表明业界正从“LLM-for-Feature”向“LLM-for-Reasoning”和“LLM-as-Rec”演进，追求更深度的知识融合与范式创新。; 偏差校正的几何

Talent Dilution Roofline：你的算法团队可能不需要再招人了？

从精排切换成深度学习以来，工业界一直会把排序的模型结构研究切分成基本的两部分，序列处理和特征交叉，甚至有一些公司的排序组，下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候，比如序列用DIN来处理，序列就被压成了一个或多个向量表征，再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features))，发展到今天大多数的模型研究，还是分立地把MLP换成DCN，增加个LHUC，复杂化为Rank Mixer或Transformer，把DIN叠加MHA，直接换成Transformer，可以写成RankMixer(concat(Transformer, Features))。
从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features))，本质没有变，就是序列处理和特征交叉是一个隐式的两阶段处理，序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处，就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中，它能启发推荐排序模型的，就是每一个特征的交叉应该发生在用户序列的Token Space之中。

OneTrans 推荐系统对齐序列处理与特征交叉

管理

AI日报

首页

历史归档

文章分类

文章标签

日报

技术趋势

description

created by

priority

password

icon

date

type

slug

status

title

summary

Post Gallery

Table

Config

Post Board

posts

技术报告

类型为Notice的文章将被显示为公告

公告

2. AprielGuard: A Guardrail for Safety and Adversarial Robustness in Modern LLM Systems