type
status
date
slug
summary
tags
category
icon
password
priority
Section 1: 📊 Trend Analysis
- 🔥 效率与扩展性成为工业界核心关切：今日多篇论文聚焦于在严格算力与延迟约束下，如何高效扩展模型能力。Meta的Kunlun通过架构设计将MFU提升至37%，实现2倍扩展效率；快手的SMES通过稀疏MoE解决多任务参数扩展与延迟的矛盾；Pinterest的ML-DCN则在固定服务预算下寻求最优AUC-FLOPs权衡。这反映出工业界正从“堆参数”转向“精算力”，追求可预测的扩展定律与成本收益。
- 💡 LLM深度融入推荐系统，范式走向成熟：LLM的应用正从浅层特征提取转向深度重构系统模块。小红书将Query Understanding统一为生成式LLM任务；快手利用LLM生成与排序目标端到端对齐的语义锚点；腾讯则将多智能体推理能力蒸馏至单一高效模型。这些实践表明，LLM正成为推荐系统上游理解、特征工程乃至核心排序能力的关键组件，并已形成兼顾效果与效率的成熟部署范式。
- 💡 多任务与序列建模的精细化演进：针对用户行为与反馈信号的复杂性，模型设计更加精细化。阿里高德的HeMix通过动态/固定查询分别建模上下文相关与无关的长期/实时兴趣；腾讯的DiffuReason引入扩散模型对推理链进行概率化精炼；快手的SMES则通过渐进式路由为多任务提供异质性容量。这些工作共同指向对用户意图更细粒度、更鲁棒的建模。
Section 2: 📋 今日速览
今日速览 |
Meta 提出可预测扩展定律的Kunlun架构，线上指标+1.2% ↗ |
快手 提出渐进式路由稀疏MoE框架SMES，用户观看时长+0.31% ↗ |
Recombee 提出训练中学习高维稀疏嵌入，实现10-100倍召回模型压缩 ↗ |
小红书 统一生成式LLM处理搜索Query理解，用户留存+0.044% ↗ |
腾讯 通过协同信号翻译与轨迹蒸馏，将多智能体推理内化至单一模型 ↗ |
腾讯 提出融合隐式推理与扩散模型的序列推荐框架，线上GMV+0.79% ↗ |
快手 端到端联合优化LLM生成的语义锚点，直播多指标显著提升 ↗ |
阿里巴巴 提出HeMix模型高效建模长/短序列与异构交互，线上GMV+0.61% ↗ |
Pinterest 提出高效特征交互模块ML-DCN，线上CTR+1.89%且成本中性 ↗ |
日本NAIST 揭示稠密检索训练中查询复杂度与多样性收益的强相关性 ↗ |
Section 3: 📰 Daily Digest
1. Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
🔗 原文： https://arxiv.org/abs/2602.10016v1
🏷️ 来源： 🏭 工业界 | Meta
⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)
🎯 推荐理由： Meta提出的大规模推荐系统效率与扩展性架构，线上收益显著，为业界提供了可预测扩展定律的工程范式。
📝 摘要： 本文针对大规模推荐系统（如Meta Ads）中模型效率低下、扩展不可预测的核心工程挑战，提出了Kunlun架构。其核心是通过低层模块优化（如广义点积注意力GDPA、分层种子池化HSP）和高层计算重分配（如计算跳过CompSkip），系统性提升模型计算效率，将MFU从17%提升至37%，实现了2倍的扩展效率提升。该架构已在Meta Ads主要模型中部署，带来了topline metrics +1.2%的显著线上收益，为业界建立可预测的推荐系统扩展定律提供了重要参考。
2. SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity
🔗 原文： https://arxiv.org/abs/2602.09386v1
🏷️ 来源： 🏭 工业界 | Kuaishou
⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)
🎯 推荐理由： 快手提出的大规模多任务稀疏MoE框架，线上显著提升观看时长，解决了参数扩展与延迟的核心矛盾。
📝 摘要： 为解决多任务推荐中模型参数扩展与在线推理延迟的根本矛盾，本文提出了SMES框架。该框架采用渐进式专家路由，将专家激活分解为任务共享子集和任务自适应私有专家，在保证实例级稀疏性的同时满足异质性任务容量需求，并引入全局多门负载均衡正则化器以稳定训练。该框架已在快手超大规模短视频服务（4亿DAU）上线，线上AB实验带来了GAUC +0.29%和用户观看时长+0.31%的显著收益，为大规模多任务系统的参数高效扩展提供了系统性解决方案。
3. Efficient Learning of Sparse Representations from Interactions
🔗 原文： https://arxiv.org/abs/2602.09935v1
🏷️ 来源： 🤝 产学合作 | Recombee, TopK, Czech Technical University
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 提出一种在训练中直接学习高维稀疏嵌入的实用方法，为召回阶段的模型压缩与效率优化提供了新思路。
📝 摘要： 本文针对召回阶段嵌入表达力与系统可扩展性之间的固有矛盾，提出了一种在训练中直接学习高维稀疏嵌入层的策略。该方法通过渐进式剪枝，在训练过程中逐步减少每个嵌入向量的非零元素，成功将生产级协同过滤模型ELSA的嵌入大小压缩10-100倍，同时精度损失极小（0-2.5%）。稀疏嵌入可高效存储与计算，其活跃维度还揭示了可解释的倒排索引结构，为工业召回场景的存储和效率优化提供了创新且实用的方法。
4. QP-OneModel: A Unified Generative LLM for Multi-Task Query Understanding in Xiaohongshu Search
🔗 原文： https://arxiv.org/abs/2602.09901v1
🏷️ 来源： 🏭 工业界 | Xiaohongshu
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 小红书搜索Query Understanding的工业实践，统一生成式LLM显著超越传统BERT流水线，线上AB验证有效。
📝 摘要： 为克服传统搜索Query Processing流水线中孤立判别式模型的局限，本文提出了QP-OneModel，一个用于社交网络搜索的统一生成式LLM。它将NER、分词、Term Weighting等异构子任务重构为统一的序列生成范式，并设计了包含知识注入、目标对齐和多奖励强化学习的三阶段对齐策略，以弥合开放域LLM与特定业务逻辑的差距。离线评估显示其整体性能超越判别式基线7.35%，线上A/B测试则验证了其在提升检索相关性（DCG +0.21%）和用户留存（+0.044%）方面的工业价值。
5. Internalizing Multi-Agent Reasoning for Accurate and Efficient LLM-based Recommendation
🔗 原文： https://arxiv.org/abs/2602.09829v1
🏷️ 来源： 🏭 工业界 | Tencent
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 腾讯提出LLM推荐新范式：通过协同信号翻译与轨迹蒸馏，将多智能体推理能力内化到单一高效模型，实现性能与效率双赢。
📝 摘要： 本文旨在解决LLM推荐中协同信号融合困难与多智能体推理延迟高的瓶颈。方法首先构建一个多智能体教师系统，其通过协同信号翻译机制将图结构行为模式转化为自然语言证据；随后，通过轨迹驱动的蒸馏管道（SFT+GRPO）将教师的复杂推理逻辑内化到单一高效的学生模型STAR中。实验表明，STAR在多个场景下性能超越其教师系统8.7%-39.5%，同时推理延迟大幅降低，为落地实时、推理增强的LLM推荐系统提供了可行路径。
6. DiffuReason: Bridging Latent Reasoning and Generative Refinement for Sequential Recommendation
🔗 原文： https://arxiv.org/abs/2602.09744v1
🏷️ 来源： 🏭 工业界 | Tencent
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 腾讯提出融合隐式推理与扩散模型的序列推荐框架，线上A/B测试验证GMV和广告消耗显著提升。
📝 摘要： 本文提出DiffuReason框架，将隐式推理与生成式精炼相结合以提升序列推荐性能。框架包含“Think”和“Diffuse”两阶段：首先通过Thinking Tokens进行多步隐式推理形成初始意图假设；随后通过扩散过程对该假设进行概率化去噪与精炼，以建模用户意图的不确定性；最后通过GRPO强化学习端到端联合优化推理、精炼与排序目标。该框架作为插件可提升多种序列推荐骨干模型，并在微信视频号场景的线上A/B测试中带来了GMV +0.79%和广告消耗+1.15%的显著收益。
7. SARM: LLM-Augmented Semantic Anchor for End-to-End Live-Streaming Ranking
🔗 原文： https://arxiv.org/abs/2602.09401v1
🏷️ 来源： 🤝 产学合作 | Kuaishou, Chinese Academy of Sciences
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 快手直播精排实战：用LLM生成语义锚点，端到端联合优化，线上多指标显著提升。
📝 摘要： 针对直播推荐中离散语义标签不精确、多模态嵌入与排序目标弱对齐的问题，本文提出SARM架构。该架构利用MLLM离线生成描述直播内容的结构化自然语言“语义锚点”，并通过轻量化的语义锚点编码器与精排模型进行端到端联合训练，使语义表示直接适配排序目标。设计中包含了双tokenizer门控融合与不对称部署策略以平衡效果与延迟。该方法已在快手直播全量部署，服务于超4亿日活用户，线上A/B测试在曝光、点击、观看时长等多个核心指标上均取得显著提升。
8. Query-Mixed Interest Extraction and Heterogeneous Interaction: A Scalable CTR Model for Industrial Recommender Systems
🔗 原文： https://arxiv.org/abs/2602.09387v1
🏷️ 来源： 🏭 工业界 | Alibaba
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 阿里高德工业级精排模型，融合长/短序列建模与异构特征交互，线上GMV/CTR显著提升。
📝 摘要： 本文提出HeMix模型，以解决工业级精排中超长行为序列建模与异构特征交互效率的挑战。模型通过Query-Mixed Interest Extraction模块，利用动态查询和固定查询分别从全局序列与实时序列中提取上下文相关与无关的用户兴趣；同时，用创新的HeteroMixer块替代自注意力，实现高效、多粒度的跨特征交互。HeMix展示了良好的扩展性，参数量增至1.5B时性能持续提升。该模型已在阿里巴巴高德地图平台上线，带来GMV +0.61%、PV_CTR +2.32%的线上收益。
9. ML-DCN: Masked Low-Rank Deep Crossing Network Towards Scalable Ads Click-through Rate Prediction at Pinterest
🔗 原文： https://arxiv.org/abs/2602.09194v1
🏷️ 来源： 🏭 工业界 | Pinterest
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： Pinterest工业实践，提出高效可扩展的特征交互模块ML-DCN，线上CTR显著提升，部署成本中性。
📝 摘要： 本文针对广告精排场景下固定算力预算内扩展模型容量的需求，提出了ML-DCN特征交互模块。该模块将实例条件掩码与低秩交叉层相结合，使模型能对每个样本选择并放大重要的交互方向，同时保持高效计算。实验表明，在相同FLOPs下，ML-DCN的AUC优于DCNv2、MaskNet等主流交互模块，并且随着算力增加展现出更优的扩展趋势。线上A/B测试验证了其在Pinterest广告系统中带来CTR等关键指标的显著提升，且已以中性服务成本部署于生产系统。
10. The Wisdom of Many Queries: Complexity-Diversity Principle for Dense Retriever Training
🔗 原文： https://arxiv.org/abs/2602.09448v1
🏷️ 来源： 🎓 学术界 | Nara Institute of Science and Technology, RIKEN
⭐ 评分： ⭐⭐⭐ (3/5)
🎯 推荐理由： 系统揭示稠密检索训练中查询复杂度与多样性收益的强相关性，为合成数据生成提供可操作指南。
📝 摘要： 本文系统研究了稠密检索器训练中合成查询多样性的作用，旨在解决先前工作中结论冲突的问题。通过对31个数据集的大规模实验分析，发现查询多样性对多跳检索任务尤其有益，且其收益与查询复杂度（以内容词数量衡量）存在强相关性（r≥0.95），据此形式化为复杂度-多样性原则（CDP）。该原则提供了可操作的阈值指导（如CW>10时使用多样性），并基于此提出了零样本多查询合成方法，在多项多跳检索任务上达到SOTA，为召回模型的高效训练数据生成提供了数据驱动的指导原则。