深度网络依赖LayerNorm（RMSNorm），这创造了局部的尺度不变性（Scale Invariance），它带了独特的梯度动力学（Gradient Dynamics）。在这个独特的动力学场域中，我们关于机器学习的直觉被颠覆了，Norm的物理含义从特征强度表示变成了学习进度的旋钮，Norm理论上稳步增加，SGD自带学习率衰减，但是刹车踩的太狠导致了学习的早停，而Weight Decay从正则化项进化为有效学习率的动态调节阀。AdamW如何成为标配：Adam做到了梯度的步长恒定，有效学习率的平缓刹车；Warmup来处理训练早期的权重过小（梯度爆炸）和二阶矩估计不准的问题；AdamW修正了L2正则的问题，引入Weight Decay，把“方向更新”和“进度控制”拆成两个干净的旋钮。

为什么LayerNorm+AdamW成了深度网络的标准配置？从尺度不变性到梯度动力学 

在和很多产品、运营团队合作的过程中，我常不得不扮演那个“泼冷水”的角色，特别是当大家对推荐算法寄予厚望的时候。
听到这样的战略规划：“我们明年目标是增长 80%，推荐系统是其中的关键。”
我的观点很直接：如果你的增长战略严重依赖推荐算法，一旦算法效果不及预期，目标就直接崩盘，那么这本质上是一个糟糕的战略**。对于规模增长，推荐算法不能雪中送炭，它只能在规模之上锦上添花。

从RL比SFT更不容易遗忘到反观推荐系统缺陷

LLM深度推理赋能推荐：今日多篇论文聚焦于如何超越LLM浅层特征提取，将其核心的“推理”能力深度融入推荐系统。无论是淘宝ReaSeq通过多代理CoT和扩散模型进行显式/隐式推理，还是复旦MMSRARec利用MLLM进行摘要和检索增强，都旨在利用LLM的世界知识来弥补传统模型在语义理解、冷启动和兴趣泛化上的不足，标志着LLM-for-Rec正从“特征工程”迈向“认知增强”的新阶段。; 从几何与因果视角理解偏差：对推荐系统偏差的研究正变得更加深刻和本质化。中科大的工作从优化过程的几何角度，揭示了BP

Talent Dilution Roofline：你的算法团队可能不需要再招人了？

从精排切换成深度学习以来，工业界一直会把排序的模型结构研究切分成基本的两部分，序列处理和特征交叉，甚至有一些公司的排序组，下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候，比如序列用DIN来处理，序列就被压成了一个或多个向量表征，再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features))，发展到今天大多数的模型研究，还是分立地把MLP换成DCN，增加个LHUC，复杂化为Rank Mixer或Transformer，把DIN叠加MHA，直接换成Transformer，可以写成RankMixer(concat(Transformer, Features))。
从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features))，本质没有变，就是序列处理和特征交叉是一个隐式的两阶段处理，序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处，就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中，它能启发推荐排序模型的，就是每一个特征的交叉应该发生在用户序列的Token Space之中。

OneTrans 推荐系统对齐序列处理与特征交叉

深度学习

理论分析

思考

强化学习

日报

排序模型

思维模型

Transformer

English

首页

友情链接

建站教程

菜单slug留空或填#即可，用于下面的子菜单

NotionNext介绍

SubMenu是子菜单，挂在上一个Menu中

NotionNext操作说明

这是一个外部链接，由slug决定跳转的网址

写作是最值得投资的技能

往期整理

关于我

可用链接/about访问，不会在菜单栏显示

关于

单页不会显示在博客列表，会在导航添加一个菜单。

友链

本文需要输入密码才可访问，密码: 123456

开发

工具

加锁文章 - 密码123456 测试3434

password

icon

priority

date

type

slug

status

title

summary

Post Gallery

Table

Config

Post Board

posts

技术报告

类型为Notice的文章将被显示为公告

公告

搜索

历史归档

文章分类

文章标签

Github

管理

description

created by

Recsys Frontier