type
status
date
slug
summary
tags
category
icon
password
priority
Section 1: 📊 Trend Analysis
- 🔥 LLM Agent架构的工程化与规模化：今日多篇论文聚焦于将LLM作为智能代理（Agent）应用于推荐与搜索系统，并致力于解决其规模化部署的工程挑战。核心议题包括：如何为Agent从海量技能库中高效路由（SkillRouter）、如何设计低token复杂度的稳定架构以消除幻觉（RES）、以及如何自动化Agent驱动的模型研发流程（AI Co-Scientist）。这标志着LLM应用正从简单的提示工程迈向复杂、可扩展的系统工程。
- 💡 语义与协同信号的动态融合：在物品表示（如Semantic ID）和模型微调层面，如何平衡与融合预训练语义知识与领域特定的协同信号成为一个关键研究方向。无论是通过自适应门控网络（GateSID）根据物品热度动态调整，还是通过正则化手段（KARMA）防止微调时的语义崩溃，目标都是让模型既能理解通用语义，又能捕捉个性化行为模式，尤其在冷启动场景下价值显著。
- 💡 面向OOD鲁棒性的推荐对齐优化：随着生成式推荐和基于LLM的推荐范式发展，模型的分布外（OOD）泛化能力受到关注。研究开始借鉴因果推断（CausalDPO）和强化学习（SIDReasoner）的思想，优化模型的偏好对齐过程，旨在学习用户跨环境稳定的偏好结构，而不仅仅是拟合训练数据中的虚假相关性，以提升推荐系统的鲁棒性和可解释性。
Section 2: 📋 今日速览
今日速览 |
阿里 提出KARMA框架解决LLM微调语义崩溃，搜索多阶段指标全面提升，线上CTR+0.5% ↗ |
Walmart 设计RES三层Agent架构，实现O(1) token复杂度并消除数据幻觉 ↗ |
Trip.com 用AI Agent自动化排序模型研究，发现新序列特征处理技术，离线指标提升 ↗ |
阿里 构建两阶段技能路由系统SkillRouter，在8万技能池中实现74%路由准确率 ↗ |
新国大&腾讯 提出SIDReasoner，增强语义ID推理以提升生成式推荐的准确性与可解释性 ↗ |
东北大学 提出CausalDPO，通过因果不变性学习提升LLM推荐在分布外场景的泛化能力 ↗ |
阿里 提出GateSID框架，自适应融合语义与协同信号解决冷启动，线上GMV+2.6% ↗ |
上海交大 结合Mamba与联邦学习，提出高效个性化的序列推荐框架PFSR ↗ |
西电&MIT 提出特征稀疏注意力SFA，将注意力计算复杂度降至Θ(n²k²/d)，实现2.5倍加速 ↗ |
Section 3: 📰 Daily Digest
1. KARMA: Knowledge-Action Regularized Multimodal Alignment for Personalized Search at Taobao
🔗 原文： https://arxiv.org/abs/2603.22779
🏷️ 来源： 🏭 工业界 | Alibaba
⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)
🎯 推荐理由： 淘宝提出KARMA框架解决LLM微调语义崩溃问题，多阶段指标显著提升并在线部署。
📝 摘要： 本文针对LLM在工业级个性化任务（如下一物品预测）微调时出现的“知识-行动鸿沟”与语义崩溃问题，提出了KARMA框架。该框架将语义重构作为训练正则化器，通过历史条件生成和嵌入条件重构两个目标，在优化检索用兴趣嵌入的同时，确保其语义可解码性。在淘宝搜索系统中，KARMA有效缓解了注意力沉没等问题，在精排、粗排、召回阶段分别带来CTR AUC +0.25、HR +1.86和HR +2.51的提升，并已在线部署，带来+0.5%的点击率增长，为LLM的工业级微调提供了创新且有效的解决方案。
2. Reasoner-Executor-Synthesizer: Scalable Agentic Architecture with Static O(1) Context Window
🔗 原文： https://arxiv.org/abs/2603.22367
🏷️ 来源： 🏭 工业界 | Walmart Global Tech
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 提出RES三层次架构，实现O(1) token复杂度，消除数据幻觉，适用于大规模LLM代理系统。
📝 摘要： 为解决RAG中上下文增长导致的幻觉风险和线性增长的token成本问题，本文提出了Reasoner-Executor-Synthesizer三层架构。该架构严格分离意图解析、确定性数据检索/聚合和叙述生成，其中Executor模块零消耗LLM token，仅向Synthesizer传递固定大小的统计摘要。形式化证明和基于1.3亿+文章的Crossref API实验表明，RES实现了与数据集大小无关的O(1) token复杂度（平均1574 tokens），并从设计上消除了数据幻觉，为构建可扩展、低成本的LLM代理系统提供了新颖的工程架构。
3. AI Co-Scientist for Ranking: Discovering Novel Search Ranking Models alongside LLM-based AI Agents with Cloud Computing Access
🔗 原文： https://arxiv.org/abs/2603.22376
🏷️ 来源： 🤝 产学合作 | Trip.com Group, UCLA
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 首次提出AI agent自动化排序模型研究框架，在Trip.com搜索排序中实现离线性能提升。
📝 摘要： 本文首次将AI Agent框架应用于搜索排序模型的研究自动化，提出了AI Co-Scientist。该框架利用单LLM Agent处理常规任务，并采用多LLM共识Agent（GPT-5.2, Gemini Pro 3, Claude Opus 4.5）进行结果分析和创意生成等挑战性环节，实现了从想法生成、代码实现到GPU训练任务调度的全流程自动化。该方法成功自动发现了一种处理序列特征的新技术，带来了显著的离线性能提升，证明了AI系统能够发现与人类专家相当的排序架构，并大幅减轻常规研究负担。
4. SkillRouter: Retrieve-and-Rerank Skill Selection for LLM Agents at Scale
🔗 原文： https://arxiv.org/abs/2603.22455
🏷️ 来源： 🏭 工业界 | Alibaba
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 阿里提出面向LLM Agent的大规模技能路由系统，通过两阶段检索重排实现74%准确率。
📝 摘要： 针对LLM Agent生态中技能数量激增（达数万）带来的路由挑战，本文系统性地研究了技能选择问题，并发现技能实现文本（body）是决定性信号，移除会导致性能大幅下降。基于此，提出了SkillRouter，一个仅含12亿参数的两阶段检索-重排管道。该系统在包含约8万个技能和75个专家验证查询的基准测试中，达到了74.0%的Top-1路由准确率，性能优于同类紧凑型和零样本基线，且可部署在消费级硬件上，为大规模技能库的高效利用提供了实用方案。
5. Reasoning over Semantic IDs Enhances Generative Recommendation
🔗 原文： https://arxiv.org/abs/2603.23183
🏷️ 来源： 🤝 产学合作 | National University of Singapore, University of Science and Technology of China, Tencent
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 提出SIDReasoner框架，通过增强语义ID-语言对齐和强化学习优化，提升生成式推荐的推理能力。
📝 摘要： 本文旨在解决生成式推荐中基于语义ID的推理难题。针对语义ID对LLM原生无意义且高质量推理监督稀缺的挑战，提出了SIDReasoner两阶段框架。首先，通过多任务训练增强语义ID与语言的对齐，将物品标记锚定在丰富的语义和行为上下文中。在此基础上，进一步通过结果驱动的强化优化来引导模型生成有效的推理轨迹，而无需显式的推理标注。在三个真实数据集上的实验验证了该框架的有效性，不仅提升了推荐准确性，还展示了其在可解释性和跨域泛化方面的潜力。
6. Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation
🔗 原文： https://arxiv.org/abs/2603.22335
🏷️ 来源： 🎓 学术界 | Northeastern University, Sun Yat-sen University
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 提出CausalDPO，通过因果不变性学习提升LLM推荐在分布外场景的泛化能力，平均提升17.17%。
📝 摘要： 本文指出，传统的直接偏好优化在LLM推荐中会放大环境混杂因子导致的虚假相关，损害模型在分布外场景的泛化能力。为此，提出了CausalDPO，在DPO的偏好对齐阶段引入了因果不变性学习机制。该方法采用后门调整策略消除环境混杂因子的干扰，通过软聚类显式建模潜在环境分布，并利用不变性约束增强跨环境的鲁棒一致性。理论分析表明CausalDPO能捕捉用户跨环境的稳定偏好结构。在四种代表性分布偏移设置下的实验验证了其有效性，在四项评估指标上平均实现了17.17%的性能提升。
7. GateSID: Adaptive Gating for Semantic-Collaborative Alignment in Cold-Start Recommendation
🔗 原文： https://arxiv.org/abs/2603.22916
🏷️ 来源： 🏭 工业界 | Alibaba
⭐ 评分： ⭐⭐⭐⭐ (4/5)
🎯 推荐理由： 阿里巴巴提出GateSID，通过自适应门控平衡语义与协同信号，有效解决冷启动问题，线上A/B测试提升显著。
📝 摘要： 为解决冷启动推荐中语义与协同信号的权衡难题，本文提出了GateSID框架。该框架首先使用残差量化VAE将多模态特征离散化为层次化语义ID，然后通过自适应门控网络根据物品成熟度动态平衡语义和协同信号。其核心包含两个组件：门控融合共享注意力，以及门控调节对比对齐。后者能针对冷启动物品加强语义-行为一致性约束，而对热门物品则放松约束以保留可靠的协同信号。在大规模工业数据集上的离线实验和在线A/B测试均验证了其有效性，线上实现了GMV +2.6%、CTR +1.1%、订单量+1.6%的提升，额外延迟小于5毫秒。
8. Personalized Federated Sequential Recommender
🔗 原文： https://arxiv.org/abs/2603.22349
🏷️ 来源： 🎓 学术界 | Shanghai Key Laboratory of Scalable Computing and Systems
⭐ 评分： ⭐⭐⭐ (3/5)
🎯 推荐理由： 结合Mamba与联邦学习的序列推荐框架，提升效率与个性化能力。
📝 摘要： 本文针对序列推荐中存在的二次计算复杂度和跨场景个性化适配挑战，提出了个性化联邦序列推荐框架。该框架引入了关联Mamba块，从全局视角捕捉用户画像并提升预测效率；开发了可变响应机制，根据个体用户需求微调参数；并设计了动态幅度损失，在训练过程中保留更多本地化个性化信息。PFSR结合了Mamba的线性复杂度和联邦学习的隐私保护优势，旨在实现高效且个性化的实时序列推荐。
9. Scaling Attention via Feature Sparsity
🔗 原文： https://arxiv.org/abs/2603.22300
🏷️ 来源： 🤝 产学合作 | Xidian University, Stony Brook University, MIT, Amazon
⭐ 评分： ⭐⭐⭐ (3/5)
🎯 推荐理由： 提出特征稀疏注意力SFA，将注意力复杂度从Θ(n²d)降至Θ(n²k²/d)，实现2.5倍加速和50%计算减少。
📝 摘要： 本文从特征稀疏性这一新维度探索Transformer的高效注意力计算，提出了稀疏特征注意力。该方法将查询和键表示为k-稀疏编码，在保持高维表达力的同时，将注意力成本从Θ(n²d)降至Θ(n²k²/d)。为实现大规模高效计算，进一步提出了FlashSFA内核，可直接在稀疏重叠上操作而无需物化稠密分数矩阵。在GPT-2和Qwen3预训练中，SFA在匹配稠密基线精度的同时，实现了高达2.5倍的速度提升，并将FLOPs和KV-cache减少了近50%，为Transformer扩展到超长上下文提供了一种互补且高效的优化路径。