OneTrans 推荐系统对齐序列处理与特征交叉

从精排切换成深度学习以来,工业界一直会把排序的模型结构研究切分成基本的两部分,序列处理和特征交叉,甚至有一些公司的排序组,下面都拆成两个Team分别处理行为序列和特征交叉。从最早的时候,比如序列用DIN来处理,序列就被压成了一个或多个向量表征,再参与与其他特征的交叉。我们可以理解成MLP(concat(DIN, Features)),发展到今天大多数的模型研究,还是分立地把MLP换成DCN,增加个LHUC,复杂化为Rank Mixer或Transformer,把DIN叠加MHA,直接换成Transformer,可以写成RankMixer(concat(Transformer, Features))。 从MLP(concat(DIN, Features))到RankMixer(concat(Transformer, Features)),本质没有变,就是序列处理和特征交叉是一个隐式的两阶段处理,序列被压缩到Vector Space才和特征发生交叉。而LLM的有趣之处,就是在Next Token Prediction利用到的交叉发生在词序列的Token Space之中,它能启发推荐排序模型的,就是每一个特征的交叉应该发生在用户序列的Token Space之中。

推荐系统的道法术器:自然模态与LLM为师

从 Optimus 的手和纯视觉自动驾驶说起:推荐系统该用哪些模态,又该向 LLM 学什么。

从信息瓶颈视角聊聊推荐系统

用信息瓶颈理论重看推荐系统:召回、粗排、精排、重排,每一级都是一个信息瓶颈。

推荐系统里的“七伤拳”:那些高ROI但长期有损的优化

笛卡尔积特征这类高 ROI 优化,短期涨指标、长期伤系统。推荐系统的管理者要算清这笔账。

推荐模型切换到专业级GPU:为什么要把矩阵维度设置成64的倍数

把推荐模型从 CPU 搬到专业级 GPU,关键是混合精度和 Tensor Core;把维度设成 64 的倍数,是最便宜的一步优化。

所谓技术深度

追最新论文不等于技术深度。落地一个方法,有效时知道为什么有效,无效时知道问题在哪,才是。

推荐系统-你真的会看AB指标吗

点击率涨了就该全量吗?AB 实验里「率」的陷阱,以及为什么要把整个 App 当成一个整体看指标。

faiss-on-mr:推荐系统大规模离线向量检索工具

离线批量算全量物品的 K 近邻,不必在线部署 faiss:一个跑在 MapReduce 上的开源向量检索工具。

左高玩的推荐系统(一):一天就能搞定的实时个性化推荐系统

给创业做内容社区的同学设计的实时推荐系统:item-based 协同过滤加实时行为反馈,会写代码就能一天上线。