推荐算法日报 - 2026-01-06

type

status

date

slug

summary

Section 1: 📊 Trend Analysis

🔥 系统级效率优化成为工业落地关键：今日多篇高评分论文聚焦于推荐系统的工程效率瓶颈。从嵌入表压缩（Mem-Rec）、长序列推理加速（RelayGR）到带过滤的向量检索（Curator），工业界和学术界都在致力于解决大规模、低延迟部署中的内存、带宽和计算挑战。这表明，随着模型复杂度提升，系统优化与算法创新同等重要。

💡 LLM/生成式推荐从“能用”到“好用”：LLM在推荐中的应用正从简单的特征提取或评测，走向深度集成与系统化设计。ScienceDB AI展示了LLM作为核心“大脑”构建端到端对话推荐系统的潜力，而RelayGR则解决了生成式推荐模型推理延迟的核心工程难题。同时，关于LLM推荐隐私风险（成员推断攻击）的研究也提醒业界需关注新范式下的安全问题。

🔄 模型融合与数据增强的新思路：学术界提出了多种新颖的模型增强范式。MergeRec探索了在数据隔离约束下，通过模型合并实现跨域知识迁移；ADAR利用扩散模型生成可控难度的负样本，以修正训练偏差；RDiffBR则用扩散模型增强Bundle表示的鲁棒性。这些工作为提升模型泛化能力和训练质量提供了新工具。

Section 2: 📰 Daily Digest

1. Mem-Rec: Memory Efficient Recommendation System using Alternative Representation

🔗 原文： https://arxiv.org/html/2305.07205v3

🏷️ 来源： 🤝 产学合作 | Intel, UCSD

⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)

🎯 推荐理由： 革新性的嵌入表压缩方案，实现数千倍压缩和3倍加速，同时保持模型精度，工业价值极高。

📊 评分理由： 工业界（Intel Labs主导，UCSD合作）。核心解决推荐系统大规模部署中的关键瓶颈——嵌入表内存和带宽问题。提出了新颖的双编码器（Bloom过滤器 + 权重表）架构，在保持AUC（零损失）的同时，将MLPerf CriteoTB DLRM模型压缩2900倍，嵌入延迟提升3.4倍。工作扎实：在Avazu、Criteo-Kaggle、Criteo-Terabyte三个标准数据集上全面验证；与ROBE、TT-Rec等多个SOTA方法详细对比；包含详细的硬件性能分析（缓存命中、带宽），证明了其在服务器CPU缓存内运行（LLC-friendly）并带来亚毫秒级延迟降低的工程价值。这是一项对工业界有明确且重大影响的高质量系统优化工作。5分。

📝 摘要： 本文针对工业级推荐系统（如DLRM）中百GB级嵌入表带来的巨大内存和带宽压力，提出了一种名为Mem-Rec的革命性压缩方案。其核心是双编码器架构：第一个编码器使用Bloom过滤器将海量ID映射到一个固定大小的“原始嵌入表”中，通过池化得到基础嵌入；第二个更小的编码器则生成一个权重，对基础嵌入进行缩放，以区分哈希冲突的ID。该方法将模型参数量从与ID数线性相关降至与Bloom Filter长度对数相关。实验表明，在CriteoTB数据集上，Mem-Rec将DLRM模型压缩了2900倍，同时保持AUC不变，并将嵌入操作速度提升最高3.4倍。压缩后的嵌入表可完全放入CPU末级缓存，极大降低了内存访问延迟，对在线广告等对延迟和成本敏感的工业场景具有极高的落地价值。

〰️

2. RelayGR: Scaling Long-Sequence Generative Recommendation via Cross-Stage Relay-Race Inference

🔗 原文： https://arxiv.org/html/2601.01712v1

🏷️ 来源： 🏭 工业界 | Huawei

⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)

🎯 推荐理由： 华为提出的生成式推荐长序列推理优化系统，实现显著性能提升。

📊 评分理由： 工业界（华为）。核心为解决生成式推荐模型在严格延迟SLO下的推理性能瓶颈，属于典型的工业系统优化。论文在华为昇腾NPU上实现并基于真实查询评估，展示了在生产环境下支持1.5倍更长序列、提升3.6倍SLO吞吐的明确收益。方法（跨阶段KV-Cache复用）具有显著创新性，且对任何部署长序列Transformer/LLM-as-Rec的团队都有极强的工程参考价值。线上收益明确、方法创新、问题关键，工业价值极高。5分。

📝 摘要： 生成式推荐（GR）模型依赖长用户序列提升效果，但其推理延迟受限于精排阶段严格的P99延迟预算（仅几十毫秒）。本文提出RelayGR系统，核心洞察是GR模型中编码用户行为的token独立于候选物品，因此可将用户行为序列前缀的计算（产生KV-Cache）从精排关键路径中提前（预推理）并缓存复用。系统面临三大挑战：缓存需跨多阶段存活、用户规模导致缓存巨大、无条件预推理会过载资源。RelayGR通过三个组件解决：1) 序列感知触发器：选择性对“有风险”请求进行预推理；2) 亲和感知路由器：确保预推理和精排请求路由到同一计算实例，实现本地HBM缓存复用；3) 内存感知扩展器：利用服务器DRAM捕获短期跨请求复用。在华为昇腾NPU上的真实流量评估显示，在固定P99 SLO下，RelayGR支持序列长度提升1.5倍，SLO合规吞吐量提升高达3.6倍。

〰️

3. ScienceDB AI: An LLM-Driven Agentic Recommender System for Large-Scale Scientific Data Sharing Services

🔗 原文： https://arxiv.org/abs/2601.01118v1

🏷️ 来源： 🏭 工业界 | 中国科学院

⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)

🎯 推荐理由： 首个面向大规模科学数据的LLM智能体对话推荐系统，线上CTR提升200%+，架构创新且落地验证扎实。

📊 评分理由： 工业界（中国科学院，但以ScienceDB平台为依托，是典型的产研结合产物）。有扎实的线上AB测试验证，CTR提升超过200%，效果显著。核心贡献是构建了一个完整的、面向复杂领域的LLM驱动的Agentic对话式推荐系统，其Trustworthy RAG框架、科学意图抽取、结构化记忆管理等创新点具有很强的前沿性和落地参考价值。它不是在老框架上做浅层LLM融合，而是重新设计了一套针对科学数据集发现这一独特问题的端到端推荐范式。5分。

📝 摘要： 本文介绍了ScienceDB AI，一个服务于全球大型科学数据共享平台ScienceDB的LLM驱动的智能体对话推荐系统。针对科学数据集推荐中用户行为稀疏、需求专业且动态变化的挑战，系统摒弃传统协同过滤，完全基于LLM进行端到端的意图理解与推荐。其核心创新包括：1) 科学意图感知器：从复杂自然语言查询中提取结构化的实验要素；2) 结构化记忆压缩器：有效管理多轮对话状态，解决长上下文遗忘问题；3) 可信检索增强生成框架：采用两阶段检索平衡效果与效率，并为每个推荐数据集提供可引用的科学任务记录标识，确保结果真实可追溯。在超过1000万个真实数据集上的评估显示，其离线指标优于先进基线30%以上，线上A/B测试相比传统关键词搜索的点击率提升超过200%。

〰️

4. MergeRec: Model Merging for Data-Isolated Cross-Domain Sequential Recommendation

🔗 原文： https://arxiv.org/html/2601.01753v1

🏷️ 来源： 🎓 学术界 | Sungkyunkwan University

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 系统性地提出了基于模型合并的隐私友好型跨域推荐新范式，方法创新且实验扎实。

📊 评分理由： 学术界（成均馆大学）。论文定义了一个新颖且务实的“数据隔离跨域序列推荐”问题，并提出了一套完整的模型合并（Model Merging）解决方案。方法创新性强，包含任务向量初始化、伪用户序列构建和结合推荐与蒸馏的协同优化，实验在八个Amazon数据集上扎实，显著超越传统模型合并和联合训练基线，对工业界实现隐私安全的多域模型融合有很强的启发价值。尽管缺少线上AB验证，但问题定义清晰、方法系统、实验充分，体现了较高的学术价值和落地潜力，故评为4分。

📝 摘要： 本文研究了一个现实但极具挑战性的新问题：数据隔离的跨域序列推荐。在该设定下，各领域用户和物品无重叠，且原始交互数据禁止跨域共享，仅能访问各域独立训练好的模型参数。为此，作者提出MergeRec框架，首次将计算机视觉/NLP中的模型合并范式系统引入推荐系统。框架包含三步：1) 合并初始化：利用任务向量进行免训练的模型参数融合；2) 伪用户数据构建：将每个物品视为一个虚拟用户序列，生成无需真实用户数据的训练样本；3) 协同合并优化：通过结合推荐损失和知识蒸馏损失的联合目标，优化各域模型的合并权重。在八个亚马逊数据集上的实验表明，MergeRec显著优于传统模型合并方法（如AdaMerging）和联合训练基线，Recall@10平均提升高达17.21%，为构建隐私友好的通用推荐器提供了新思路。

〰️

5. Adaptive Diffusion-based Augmentation for Recommendation

🔗 原文： https://arxiv.org/abs/2601.01448v1

🏷️ 来源： 🎓 学术界 | Harbin Institute of Technology, Capital Normal University, University of Surrey

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 利用扩散模型生成可控难度的负样本，理论推导正负转换点，有效提升多种推荐模型性能。

📊 评分理由： 学术界主导（哈尔滨工业大学等）。针对推荐系统训练中的核心问题——负采样，提出了一个新颖且扎实的解决方案：利用扩散过程的连续噪声化来生成可控硬度的难负样本，并理论推导了正负样本的转换点。方法模型无关、实验充分，在多个基准模型（CF和序列推荐）上带来稳定提升。创新点明确，解决了虚假负样本和采样可控性的实际痛点，对工业界有直接的启发和落地潜力。虽无线上AB验证，但方法质量和问题重要性突出，给予4分。

📝 摘要： 隐式反馈推荐中的负采样至关重要，但传统方法从未观测交互中采样，会将大量未曝光的潜在正样本误标为负（虚假负样本），且难以控制样本难度。本文提出ADAR，一个模型无关的扩散增强模块，用于生成信息丰富的负样本。其核心思想是利用扩散模型的前向加噪过程，模拟从正样本到负样本的连续过渡。关键创新在于，作者从理论上推导了正样本“变质”为负样本的转换点，并设计了一个得分感知函数来自适应地确定最优采样时间步。通过在这个转换点附近采样，ADAR能够生成真正具有挑战性、有助于锐化模型决策边界的难负样本。实验证明，ADAR可以无缝嵌入多种协同过滤和序列推荐模型，无需修改模型架构即可带来显著的性能提升。

〰️

6. Curator: Efficient Vector Search with Low-Selectivity Filters

🔗 原文： https://arxiv.org/abs/2601.01291v1

🏷️ 来源： 🎓 学术界 | Duke University, UC Berkeley, Yale University

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 针对召回阶段带过滤向量检索的核心痛点，提出高效的双索引架构，显著提升低选择率查询性能。

📊 评分理由： 学术界工作（来自 Duke, UC Berkeley, Yale 等高校）。聚焦于推荐系统召回阶段的核心痛点：带属性过滤的向量检索。提出创新的双索引架构（Curator+图索引），通过分层聚类和共享结构显著优化低选择率查询性能（延迟降低高达20.9倍）。方法扎实，实验充分，在标准数据集上验证了效果。虽无线上AB，但问题定义清晰，技术方案对工业界召回系统优化有很强的启发和落地潜力。4分。

📝 摘要： 基于嵌入的稠密检索是推荐召回的核心，但实际查询常结合品类、价格等元数据过滤。现有的图索引（如HNSW）在低选择率过滤查询下性能骤降，因为合格向量稀疏导致图结构断裂。本文提出Curator，一种与图索引互补的分区索引，专为低选择率过滤的近似最近邻搜索设计。Curator构建一个共享的基础分层聚类树，并为每个过滤标签在树结构内“嵌入”一个自适应的子索引，通过调整缓冲区层级来匹配该标签下向量的分布密度。它还支持为复杂过滤条件动态构建临时索引。实验表明，将Curator与最先进的图索引（ACORN）结合，相比其回退到预过滤的方法，能将低选择率查询的延迟降低高达20.9倍，而仅增加约5.5%的构建时间和4.3%的内存开销，为工业级召回系统优化提供了高效新方案。

〰️

7. Membership Inference Attacks on LLM-based Recommender Systems

🔗 原文： https://arxiv.org/abs/2508.18665v4

🏷️ 来源： 🎓 学术界 | University of Maryland, University of Cincinnati, University of Southern California

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 首篇系统性研究ICL LLM推荐系统成员推断攻击的工作，方法新颖，实验扎实，对业界安全部署有重要预警价值。

📊 评分理由： 学术界主导（作者均来自高校，仅离线实验）。核心价值在于首次系统性地研究了新兴范式（ICL LLM推荐）中的隐私攻击问题，填补了重要的安全研究空白。方法设计有新意，充分利用了LLM的记忆性、推理能力和提示工程特性，实验在多个开源模型和基准数据集上验证有效，揭示了严峻的现实风险。尽管是学术研究且非推荐核心问题（推荐什么），但其对工业界LLM推荐系统部署有极强的警示和参考价值，故在锚定3分基础上上调至4分。

📝 摘要： 本文首次系统研究了基于上下文学习（ICL）的LLM推荐系统的成员推断攻击风险。攻击者目标是判断特定用户的敏感历史交互是否被包含在系统提示中。作者设计了四种新颖的攻击方法：1) 相似性攻击：比较推荐项与历史交互的嵌入相似度；2) 记忆化攻击：检查推荐结果是否“复制”了历史交互；3) 询问攻击：直接向LLM提问是否见过某些交互；4) 投毒攻击：通过修改提示观察推荐变化来推断。在Llama-3、Gemma等5个LLM和MovieLens、Amazon数据集上的实验表明，询问攻击和投毒攻击效果极佳（攻击优势高达82%），证明了即使在这种黑盒、few-shot场景下，用户隐私泄露风险依然极高。这项工作为LLM推荐系统的安全部署敲响了警钟。

〰️

8. Modeling Item-Level Dynamic Variability with Residual Diffusion for Bundle Recommendation

🔗 原文： https://arxiv.org/abs/2507.03280v5

🏷️ 来源： 🎓 学术界 | Wuhan University of Technology, York University

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 首次系统研究Bundle组成动态变化问题，提出轻量高效的扩散增强框架，提升显著且开销小。

📊 评分理由： 学术界论文（武汉理工、约克大学）。首次系统研究Bundle推荐中的物品级动态变化（bundle-item affiliation variability）问题，问题定义有新颖的工业启发价值。提出模型无关的残差扩散增强框架RDiffBR，方法设计巧妙，通过扩散模型在隐空间去噪来增强Bundle表示，以应对组成变化。在6个基础模型和4个数据集上实验充分，Recall/NDCG提升显著（最高23%），且训练时间仅增加4%，具备良好的落地潜力。方法非范式开创，但问题+方案结合紧密，实验扎实，综合价值较高。4分。

📝 摘要： 现有的Bundle推荐模型假设Bundle的组成是静态的，但现实中Bundle的物品组成会因季节、库存等因素动态变化，导致模型性能波动或下降。本文首次系统研究了Bundle的物品级动态变化问题，并提出RDiffBR，一个模型无关的生成式增强框架。其核心是一个残差扩散模型：在训练阶段，它对基础Bundle推荐模型生成的物品级Bundle表示（表征主题）进行前向加噪和反向去噪，学习如何重建鲁棒的表示。在推理阶段，当Bundle组成发生变化时，RDiffBR将基础模型在新组成下产生的“有偏”表示作为起点，通过反向扩散过程将其校正为有效的表示。实验在6个主流Bundle推荐模型和4个公开数据集上进行，RDiffBR能将基础模型的Recall和NDCG指标提升最高23%，而训练时间仅增加约4%，为提升Bundle推荐模型的鲁棒性提供了轻量高效的解决方案。

〰️

9. Exploiting ID-Text Complementarity via Ensembling for Sequential Recommendation

🔗 原文： https://arxiv.org/abs/2512.17820v2

🏷️ 来源： 🏭 工业界 | Snap Inc.

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 通过严谨实验证明ID与文本特征在序列推荐中存在互补性，并给出简单有效的集成方案。

📊 评分理由： 作者均来自Snap Inc.，属于工业界背景。论文聚焦推荐系统核心问题（顺序推荐中的物品表征），通过严谨的离线实验证明了ID与文本特征的互补性，并提出了一种简单却有效的集成方法（EnsRec）来利用这种互补性。其核心价值在于挑战了当前“必须复杂融合”的普遍假设，提供了扎实的实验证据和一条简洁实用的技术路径，对工业界有较强的启发和落地参考价值。因无线上AB验证，故在工业界论文锚定4分的基础上维持4分。

📝 摘要： 当前序列推荐模型对ID嵌入和文本模态嵌入的使用存在两种对立观点：一种认为文本嵌入可完全替代ID，另一种认为需要复杂的融合架构。本文通过严谨实验证明，ID模型和纯文本模型实际上学习到了互补的信号：ID模型擅长捕捉精确的协同过滤信号，而文本模型（基于冻结的SentenceT5）在泛化和冷启动上更有优势。基于此，作者提出EnsRec，一种极其简单的集成策略：独立训练一个ID-only模型和一个text-only模型，在推理时直接对两个模型的预测分数进行求和。尽管方法简单，但在多个公开数据集上的实验表明，EnsRec在NDCG@10等指标上超越了包括复杂融合模型在内的多个强基线。这项工作表明，要获得SOTA的序列推荐性能，ID和文本特征都必不可少，但复杂的融合架构可能并非必需。

〰️

10. Exploring Diversity, Novelty, and Popularity Bias in ChatGPT's Recommendations

🔗 原文： https://arxiv.org/html/2601.01997v1

🏷️ 来源： 🎓 学术界 | Politecnico di Bari

⭐ 评分： ⭐⭐⭐ (3/5)

🎯 推荐理由： 对ChatGPT推荐能力在多样性、新颖性和流行度偏差方面的系统性离线评估，提供了LLM推荐的基准分析。

📊 评分理由： 学术界（Politecnico di Bari）。这是一项对现有技术（ChatGPT）的评估性研究，而非方法创新。论文系统地评估了ChatGPT-3.5/4在三个公开数据集上推荐的多样性、新颖性和流行度偏差，并测试了多种提示策略。核心贡献在于提供了关于LLM推荐能力在非准确性维度上的基准和分析，尤其是冷启动场景下的优势。实验设计较为扎实，但本质上属于对现有LLM的评测，缺乏模型或方法上的实质创新。对于了解LLM在推荐中的表现有参考价值，但工业落地的直接指导意义有限。锚定3分。

📝 摘要： 本文对ChatGPT（3.5和4版本）的推荐能力进行了系统性评估，重点考察了除准确性之外的多样性、新颖性和流行度偏差等维度。研究在Books、Movies、Music三个数据集上模拟用户历史交互（如“我看了A, B, C”），测试了Zero-Shot、Few-Shot等多种提示策略。结果表明，ChatGPT-4在保持与LightGCN等传统模型相当准确性的同时，能提供更具多样性的推荐，并展现出平衡新颖性与准确性的潜力。在冷启动场景（用户仅有1-3次交互）下，ChatGPT模型在准确性和新颖性上均表现优异，凸显了LLM凭借世界知识进行推理的优势。此外，角色扮演提示能有效减少重复推荐。该研究为理解LLM的推荐行为提供了有价值的基准。

Section 3: 🔍 Deep Dive

Mem-Rec: Memory Efficient Recommendation System using Alternative Representation

🔗 原文： https://arxiv.org/html/2305.07205v3

🏷️ 来源： 🤝 产学合作 | Intel, UCSD

💡 问题与动机

工业级推荐模型（如DLRM）的嵌入表占用了数百GB内存，成为训练和推理的主要瓶颈，导致高内存成本和内存带宽压力。现有压缩方法（如哈希、矩阵分解）要么精度损失大，要么压缩比有限。需要一种既能实现极高压缩比（数千倍），又能保持模型精度，甚至能加速推理的解决方案。

🧠 核心贡献

提出Mem-Rec，一种基于双Bloom过滤器编码的嵌入表替代表示方法。

实现了对数级（而非线性）的模型参数量增长，在CriteoTB数据集上将DLRM模型压缩2900倍。

在保持AUC零损失的同时，将嵌入操作延迟降低最高3.4倍，并使压缩后的表可放入CPU末级缓存。

🛠️ 核心方法

Mem-Rec用两个小型、缓存友好的嵌入表替代传统的海量嵌入表，通过哈希和Bloom过滤器动态生成每个ID的嵌入。

Token编码器：对于每个分类特征ID，使用k个哈希函数将其映射到一个长度为d的Bloom Filter二进制向量（签名）。然后从一个固定大小为 `[d, embedding_dim]` 的“原始嵌入表” `E_token` 中，根据签名为1的位置选取k个向量进行池化（如求和），得到基础嵌入 `e_raw`。

权重编码器：为了区分在Token编码器中发生哈希冲突的ID，引入第二个更小的Bloom Filter（长度d‘）和一个大小为 `[d', 1]` 的“权重表” `E_weight`。同样通过哈希和池化，为每个ID生成一个标量权重w。

最终嵌入：将权重w与基础嵌入 `e_raw` 相乘，得到最终的个性化嵌入 `e_final = w * e_raw`。整个模型（包括两个小表）可端到端训练。

🔍 关键细节（我关心能不能复现）

训练数据怎么构造/采样/增强：使用标准CTR预测数据集（Avazu, Criteo-Kaggle, Criteo-Terabyte），未做特殊数据增强。模型在原始数据上端到端训练。

损失函数与训练策略：使用标准的二分类交叉熵损失。训练策略与原始DLRM保持一致。

推理流程与代价（时延/计算/部署）：推理时，对每个ID进行两次哈希和池化操作（分别针对两个表），然后进行一次向量缩放。由于两个表非常小（例如，d=200k, d‘=50k），可完全放入CPU LLC，极大减少了内存访问延迟和带宽压力。论文给出了详细的周期数、缓存缺失和带宽分析。

📈 实验效果

数据/场景与指标：三个CTR预测数据集（Avazu, Criteo-Kaggle, Criteo-Terabyte）。评估指标为AUC（精度）和嵌入延迟/带宽（效率）。

主要结果（给数字）：

CriteoTB：模型大小压缩 2900倍（从~103GB到~36MB），AUC与基线完全相同，嵌入延迟降低 3.4倍。
Criteo-Kaggle：压缩 606倍，AUC提升 +0.0004，延迟降低 2.1倍。
Avazu：压缩 244倍，AUC提升 +0.0012，延迟降低 1.7倍。

最关键的消融/对比（它证明了什么）：

与ROBE、TT-Rec、QR-Trick等SOTA压缩方法对比，Mem-REC在相同或更高压缩比下，AUC最高。
消融实验证明了双编码器（尤其是权重编码器）的必要性，移除非线性权重会导致AUC显著下降。
硬件性能分析显示，Mem-REC将L3缓存缺失率降低了95%，内存带宽需求降低了89%。

⚠️ 风险与边界

哈希冲突与容量规划：虽然权重编码器缓解了冲突，但极端情况下冲突仍可能影响精度。需要根据ID空间大小谨慎选择Bloom Filter长度(d, d‘)。

训练稳定性：由于大量ID共享相同的 `E_token` 行，梯度可能更嘈杂，需要调整学习率或使用梯度裁剪。

动态新增ID：对于持续新增ID的场景，需要评估哈希函数分布是否依然均匀，或是否需要定期重建模型。

💼 工业启发

保守：在内存受限的边缘推理或需要部署极大模型的场景中，优先尝试Mem-REC进行嵌入表压缩，可显著降低成本。

中等：在CTR/CVR预估等对延迟敏感的核心场景，可用Mem-REC替换原有嵌入层，在保持精度的同时追求延迟和带宽收益。

激进：将Mem-REC的思想推广到其他具有大规模稀疏特征的模型（如搜索、广告的DNN模型），探索其通用性。

〰️

RelayGR: Scaling Long-Sequence Generative Recommendation via Cross-Stage Relay-Race Inference

🔗 原文： https://arxiv.org/html/2601.01712v1

🏷️ 来源： 🏭 工业界 | Huawei

💡 问题与动机

生成式推荐（GR）模型依赖长用户序列提升效果，但其Transformer架构的推理延迟随序列长度线性增长，受限于精排阶段严格的P99延迟预算（通常仅几十毫秒），导致线上实际能使用的序列长度远低于训练时，限制了模型潜力。需要一种系统优化，在不突破SLO的前提下，支持更长的序列或提升吞吐。

🧠 核心贡献

提出“跨阶段接力推理”核心思想：将用户行为序列前缀的计算提前并缓存其KV-Cache，供后续精排阶段复用。

设计了RelayGR生产系统，包含序列感知触发器、亲和感知路由器、内存感知扩展器三大组件，解决了缓存生命周期管理、资源协同等工程挑战。

在华为昇腾NPU上实现，真实流量评估显示，在固定P99下支持序列长度提升1.5倍，吞吐提升3.6倍。

🛠️ 核心方法

系统在推荐管道（召回->预处理->精排）中插入KV-Cache的“生产-缓存-消费”逻辑。

整体流程：1) 在召回/预处理阶段，序列感知触发器判断当前请求是否需要预推理用户前缀；2) 若需要，亲和感知路由器将预推理请求路由到某个精排实例执行，并将产生的KV-Cache暂存于该实例的HBM中；3) 当该用户的精排请求到达时，路由器确保其被路由到同一个实例，直接消费HBM中的KV-Cache，仅需计算候选相关的部分。

关键技术点1：序列感知触发器：基于轻量级元数据（如用户历史序列长度）预测该请求若进行全量GR推理是否会超时，仅对“有风险”的请求触发预推理，控制开销。

关键技术点2：亲和感知路由器：利用请求生命周期短（几百毫秒）的特点，在路由层维护一个短期的“用户->实例”映射，确保同一用户的预推理和精排请求落在同一实例，实现本地HBM缓存，避免昂贵的跨设备/网络传输。

关键技术点3：内存感知扩展器：在HBM之外，利用服务器本地DRAM作为二级缓存，捕获同一用户的短期重复请求（如页面刷新）带来的复用机会，通过异步预加载机制避免影响关键路径。

🔍 关键细节（我关心能不能复现）

训练数据怎么构造/采样/增强：未涉及新模型训练，是针对已有GR模型的推理优化系统。

损失函数与训练策略：不涉及。

推理流程与代价（时延/计算/部署）：预推理会增加召回/预处理阶段的少量开销（需运行部分GR模型），但将大部分计算从精排关键路径移除。精排阶段延迟显著降低，或可在相同延迟下处理更长序列。需要部署支持KV-Cache管理的推理框架，并在路由层实现亲和性保证。

📈 实验效果

数据/场景与指标：基于生产环境的镜像，使用真实查询流进行评估。核心指标：在固定P99延迟约束下的系统吞吐量（QPS）和支持的最大序列长度。

主要结果（给数字）：

在固定P99 SLO下，RelayGR将SLO合规吞吐量提升最高3.6倍。
在相同P99 SLO下，RelayGR支持的精排模型序列长度提升1.5倍。
缓存命中率（HBM）在实验设定下达到90%以上。

最关键的消融/对比（它证明了什么）：

与“无缓存”基线对比，显示了性能提升。
消融实验证明了三个组件缺一不可：缺少触发器会导致预推理过载；缺少路由器会导致远程获取缓存，延迟收益消失；缺少扩展器会错过DRAM级的短期复用。

⚠️ 风险与边界

用户活跃度与缓存效率：对于极度活跃的海量用户，缓存命中率可能下降，需要更精细的缓存淘汰策略。

系统复杂性：引入了新的组件（触发器、路由策略）和状态（KV-Cache映射），增加了系统复杂度和运维成本。

模型架构依赖：仅适用于Transformer类且用户行为编码独立于候选的GR模型。对于强交叉特征的模型，收益可能有限。

💼 工业启发

保守：在已部署GR模型且序列长度受限于延迟的场景，可先实现简单的“亲和路由+本地HBM缓存”原型，验证收益。

中等：设计统一的推理服务框架，将KV-Cache的生命周期管理与业务路由解耦，为多种生成式模型提供服务。

激进：将“跨阶段计算复用”思想推广到推荐管道其他环节，例如复用召回阶段的用户向量等，进行全链路性能优化。

〰️

ScienceDB AI: An LLM-Driven Agentic Recommender System for Large-Scale Scientific Data Sharing Services

🔗 原文： https://arxiv.org/abs/2601.01118v1

🏷️ 来源： 🏭 工业界 | 中国科学院

💡 问题与动机

科学数据集推荐面临独特挑战：1) 用户需求与研究任务强相关，与历史行为弱相关，传统协同过滤失效；2) 需求描述专业、复杂且动态变化，传统关键词或语义匹配难以理解深层意图；3) 科学推荐要求结果真实、可追溯，但LLM存在幻觉问题。需要构建一个能深度理解、交互式澄清需求，并保证结果可信的推荐系统。

🧠 核心贡献

构建了首个面向千万级科学数据的LLM驱动智能体对话推荐系统ScienceDB AI。

提出了科学意图感知器，将模糊的自然语言查询解析为结构化的实验要素模板。

设计了结构化记忆压缩器，有效管理多轮对话状态，解决长上下文遗忘。

提出了可信检索增强生成框架，通过两阶段检索和可引用标识（CSTR），确保推荐结果真实、可追溯。

🛠️ 核心方法

系统以LLM（如GPT-4）为中央调度器，以Agent模式运作，通过工具调用完成推荐。

整体流程：用户输入查询 -> 科学意图感知器（LLM+特定提示）提取结构化意图 -> 结构化记忆压缩器维护和总结对话历史 -> LLM根据当前意图和历史，决定调用检索工具 -> 可信RAG执行两阶段检索（粗排+精排）并返回带CSTR标识的数据集列表 -> LLM组织生成最终推荐回复。

关键技术点1：科学意图感知器：定义了一个包含“数据”、“主题”、“约束”、“评估标准”等槽位的结构化模板，通过精心设计的提示让LLM从用户查询中抽取并填充，将模糊意图转化为机器可处理的明确需求。

关键技术点2：结构化记忆压缩器：将对话历史、用户意图、工具调用结果等以结构化格式存储。当对话轮次增加时，通过LLM对历史进行摘要压缩，保留关键信息后送入当前上下文，以突破模型上下文窗口限制。

关键技术点3：可信RAG框架：

两阶段检索：第一阶段用高效的向量检索（如基于SciBERT）从千万数据集中快速召回Top-K；第二阶段用更精细的交叉编码器（如ColBERT）对K个候选进行重排，平衡效率与效果。
CSTR标识：为平台内每个数据集生成一个唯一的“可引用科学任务记录”标识，在LLM返回推荐结果时强制附带此标识和直接链接，确保用户可追溯源头，避免幻觉。

🔍 关键细节（我关心能不能复现）

训练数据怎么构造/采样/增强：未提及训练新的LLM。意图感知器、记忆压缩器、RAG中的检索模型（SciBERT, ColBERT）可能使用科学领域文本进行预训练或微调。系统核心是基于提示工程和工具调用的Agent框架。

损失函数与训练策略：主要涉及检索模型的训练（对比学习等），论文未详述。

推理流程与代价（时延/计算/部署）：一次推荐涉及多次LLM API调用（意图理解、记忆管理、结果生成）和两阶段神经检索，延迟和成本较高。适用于对结果质量要求高、交互节奏相对较慢的科学探索场景，而非毫秒级响应的电商推荐。

📈 实验效果

数据/场景与指标：基于ScienceDB平台超过1000万个真实科学数据集。离线指标采用Recall@K, NDCG@K；线上进行A/B测试，指标为点击率（CTR）。

主要结果（给数字）：

离线实验：相比先进的Agent推荐基线，Recall@5/10/20和NDCG@5/10/20等指标提升超过30%。
线上A/B测试：相比传统关键词搜索系统，CTR提升超过200%。

最关键的消融/对比（它证明了什么）：

消融实验证明了三个核心组件（意图感知、记忆压缩、可信RAG）各自的有效性。
与单纯使用LLM生成推荐（无R