type
status
date
slug
summary
tags
category
icon
password
priority
本周概览
本周推荐系统研究围绕三条主线展开。第一条是 Semantic ID 生成式推荐从范式验证进入工程深水区——冷启动信号平衡、广告变现兼容、分布外鲁棒性、推理能力注入,五篇论文分别攻克不同的落地痛点,其中阿里巴巴 OneSearch-V2 线上取得 CTR +3.98%、转化率 +3.05% 的实效。第二条是 LLM Agent 在推荐和搜索中的角色正在从"端到端替代"走向"分层协作"——推理归 LLM,执行归确定性模块,训练用强化学习对齐中间步骤与最终目标。第三条是工业搜索排序系统的效率战——淘宝 KARMA 用语义正则化解决 LLM 微调中的知识退化,UniScale 论证数据与模型必须协同扩展,DIET 将训练数据压缩至 1-2% 仍保持性能趋势一致。
本周共收录 16 篇论文。KARMA 是本周最值得关注的工业论文,覆盖淘宝搜索全链路(召回/粗排/精排)并完成线上部署验证。工业界贡献集中在阿里巴巴搜索体系,学术界则在 LLM Agent 与生成式推荐两个方向持续推进。
Semantic ID 与生成式推荐
生成式推荐正在从"能不能用"走向"怎么用好"——本周五篇论文集中攻克落地层面的硬问题:冷启动平衡、广告变现、OOD 泛化、复杂 query 理解,以及 SID 上的推理能力。工业界贡献了两篇带线上 A/B 结果的系统论文。
OneSearch-V2 (2603.24422) — 阿里巴巴。OneSearch 是已规模化部署的生成式搜索框架,V2 针对三个实际瓶颈做了升级。复杂 query 理解不足——引入 thought-augmented 模块,在推理前生成中间推理链,克服直接匹配的浅层语义局限。用户意图挖掘不充分——设计 reasoning-internalized 自蒸馏训练管线,通过隐式 in-context learning 从日志之外挖掘用户潜在电商意图。单一转化指标导致 reward hacking——加入行为偏好对齐优化,结合直接用户反馈校正。线上 A/B 结果:item CTR +3.98%,买家转化率 +3.05%,订单量 +2.11%。页面好评率 +1.65%,query-item 相关性 +1.37%。这些提升没有增加额外推理开销或 serving 延迟。早期 GPTRec (2306.11114) 通过 SVD Tokenisation 解决大词表问题,属于学术探索阶段。OneSearch-V2 关注的已经是信息茧房缓解和长尾稀疏性等生产级问题。
GateSID (2603.22916) — 工业界(具体机构未披露,含大规模工业数据集与线上实验)。冷启动场景下的核心矛盾:协同信号对热门 item 有效但对新 item 不可靠,语义信息能补位但过度依赖又会模糊协同差异。GateSID 用自适应门控网络根据 item 成熟度动态平衡两类信号。SID 获取方面,采用 Residual Quantized VAE 对多模态特征做层次化离散编码。两个核心组件:Gating-Fused Shared Attention 将模态内注意力分布与 item 级门控权重融合;Gate-Regulated Contrastive Alignment 对冷启动 item 施加更强的语义-行为一致性约束,对热门 item 放松约束以保留协同信号。线上 A/B 测试:GMV +2.6%,CTR +1.1%,订单量 +1.6%,额外延迟控制在 5ms 以内。这种"按 item 生命周期分配信号权重"的思路,与 COSETTE (2508.14910) 将协同信息通过对比 tokenization 直接注入 item 表示的路线互补——COSETTE 在 tokenizer 层面解决协同缺失,GateSID 在推理层面做动态调节。
GEM-Rec (2603.22231) — 学术界。现有 Semantic ID 生成推荐架构(如 TIGER)只为语义召回设计,不考虑广告变现。GEM-Rec 将商业相关性和变现目标整合进生成序列。引入 control token 将"是否展示广告"和"展示哪个 item"两个决策解耦。Bid-Aware Decoding 机制在推理时注入实时出价引导生成。论文证明该方案满足 allocation monotonicity——出价更高的广告展示概率单调不减,且无需重训模型。
SIDReasoner (2603.23183) — 学术界。SID token 对 LLM 不是天然语义,SIDReasoner 用两阶段策略解决:先通过多任务训练做 SID-语言对齐,再用 outcome-driven 强化优化引导推理轨迹。与 IDGenRec (2403.19021) 用人类语言 token 生成文本 ID 的思路互补——SIDReasoner 保留离散 SID 的效率优势,同时通过对齐训练解锁 LLM 推理迁移能力。
CausalDPO (2603.22335) — 学术界。DPO 在推荐场景的偏好对齐过程中会放大环境混淆因子导致的虚假相关,损害 OOD 泛化能力。CausalDPO 引入后门调整策略消除干扰,用软聚类建模潜在环境分布,通过不变性约束增强跨环境鲁棒性。四种分布偏移设定下,四个评估指标平均提升 17.17%。
本周五篇论文呈现一个清晰信号:Semantic ID 生成式推荐的基础范式已经基本收敛,研究焦点正在快速转向部署后的实际痛点——冷启动信号平衡、广告变现兼容、分布外鲁棒性、推理能力注入,都是把生成式推荐从"demo 能跑"推向"生产能用"的工程。
LLM Agent 驱动的推荐与搜索
当 LLM 从"被调用的模型"升级为"自主决策的 Agent",推荐和搜索系统的架构、训练方式、工具调用策略都需要重新设计。本周五篇工作分别切入端到端策略优化、科研自动化、技能路由、架构 token 效率、以及混合检索 Agent 训练。
AI Co-Scientist for Ranking (2603.22376) — 工业界(商业搜索引擎,机构未披露)。这篇切入的角度不同:不是用 LLM Agent 做推荐,而是用 LLM Agent 做推荐系统的研发。框架覆盖搜索排序研究的完整流程——从想法生成、代码实现到 GPU 训练任务调度,human expert in the loop。架构设计上有务实的分层:常规任务用单 LLM Agent 处理;高难度环节(结果分析、想法生成)用多 LLM 共识机制,具体调用了 GPT 5.2、Gemini Pro 3 和 Claude Opus 4.5 三个模型投票。实验结果显示框架自动发现了一种处理序列特征的新技术,所有模型改进均自动产出。不过论文没有披露具体的离线指标数字和在线 A/B test 结果。
DSL-R1 (2603.21018) — 工业界(机构未披露,大规模邮件检索场景)。结构化元数据过滤和非结构化内容的向量相似度检索长期是两套独立系统。DSL-R1 设计了一种领域特定语言(DSL),在 SQL 风格的操作符中嵌入向量检索原语,实现逻辑推理与语义匹配的统一。基于规则的执行反馈和检索质量奖励联合优化 DSL 生成,用强化学习平衡结构正确性和语义对齐。在大规模工业邮件 benchmark 上,Hit@1/3 提升 +12.3%。
AgenticRec (2603.21613) — 学术界。现有推荐 Agent 的中间推理过程和最终排序反馈之间是断裂的。AgenticRec 将 ReAct 循环中的每一步纳入统一策略优化目标,用 List-Wise GRPO 做端到端优化(扩展自 DeepSeek-R1 的群体相对策略优化),并通过 Progressive Preference Refinement 从排序违反中挖掘硬负例做双向偏好对齐。
SkillRouter (2603.22455) — 学术界。当 Agent 技能池达到数万量级,全部塞进 context window 不现实。论文在约 80K 技能上实证发现:技能的完整实现代码才是决定性信号,去掉后准确率下降 29-44 个百分点。SkillRouter 用 1.2B 参数的 retrieve-and-rerank 管线达到 74.0% top-1 路由准确率。
RES (2603.22367) — 学术界。RES 用三层分离解决 RAG 的 token 成本问题:Reasoner 做意图解析,Executor 做确定性数据聚合(零 LLM token),Synthesizer 接收固定大小摘要做生成。在 1.3 亿+文章规模下,平均 token 消耗 1,574 tokens,不随数据集规模增长。
五篇论文共同指向一个清晰趋势:LLM Agent 在推荐和搜索中的角色正在从"端到端替代"走向"分层协作"——推理归 LLM,执行归确定性模块,训练用 RL 对齐中间步骤与最终目标。当工具规模膨胀到万级,工具路由本身也成为一个需要独立解决的检索问题。
工业级搜索排序的规模化与训练效率优化
本周三篇论文围绕同一核心矛盾展开:工业搜索排序系统在规模扩张中遭遇的效率瓶颈。切入点各不同——LLM 语义注入、数据-模型协同扩展、流式数据蒸馏——但共同指向一个事实:单纯堆参数量的时代正在结束,系统化的数据工程与训练策略成为新的增长杠杆。
KARMA (2603.22779) — 阿里巴巴/淘宝搜索。LLM 接入个性化搜索的核心障碍不是模型能力,而是微调过程中语义知识与判别目标之间的冲突。KARMA 将这个问题命名为 Knowledge-Action Gap:用 next item prediction 等判别目标直接微调 LLM,会导致 Semantic Collapse——注意力分布退化为 attention sink 模式,语义泛化能力被破坏。解法是把语义重建作为训练时正则项。具体包含两个互补目标:history-conditioned semantic generation 将优化锚定在 LLM 原生的 next-token 分布上;embedding-conditioned semantic reconstruction 约束兴趣 embedding 保持语义可恢复性。消融实验中,语义可解码性约束带来最高 +22.5 HR@200 的提升。全链路指标:精排 +0.25 CTR AUC,粗排 +1.86 HR,召回 +2.51 HR。线上部署后 Item Click +0.5%,排序阶段推理开销低。对比 RLMRec (2310.15950) 的跨视图对齐思路,KARMA 更进一步——不只是对齐语义空间与协同信号,而是在训练过程中主动防止语义退化。
UniScale (2603.24226) — 工业界电商搜索平台。单纯增大模型参数的边际收益递减,复杂异构数据分布造成的性能损失无法靠模型结构弥补。UniScale 的核心论点:数据扩展与模型扩展必须协同设计。数据侧,ES³(Entire-Space Sample System)从两个方向扩展训练信号——域内通过分层标签归因构建全局监督信号,跨域在相似曝光环境下对齐用户决策本质。模型侧,HHSFT(Heterogeneous Hierarchical Sample Fusion Transformer)专门针对扩展后数据的异构分布设计,包含异构分层特征交互和全空间用户兴趣融合。论文在大规模电商搜索平台上验证了数据-模型协同扩展的 scaling trend。
DIET (2603.24958) — 学术界。大规模推荐系统的模型迭代速度被数据规模拖住。DIET 把这个问题形式化为流式数据集蒸馏。与静态数据集蒸馏方法不同,DIET 将蒸馏数据建模为不断演化的训练记忆,随流式数据分阶段更新。核心机制:基于影响函数的有效样本初始化,双层优化框架下的影响感知记忆寻址选择性更新。训练数据压缩至原始规模的 1-2%,性能趋势与全量训练一致,模型迭代成本降低最高 60 倍。蒸馏数据集在不同模型架构间可迁移。对比 DEALRec (2401.17197) 的 2% 样本修剪方案,DIET 的核心差异在于"持续"——它处理的是不断增长的流式数据,而非静态数据集的一次性修剪。
三篇论文共同指向一个趋势:工业搜索排序的竞争焦点正从模型架构创新转向数据-训练效率的系统性优化。
值得关注的方向
生成式推荐的商业化路径。GEM-Rec (2603.22231) 将广告竞价信号融入生成式推荐框架,证明了 allocation monotonicity 的理论保证。这解决了生成式推荐在工业落地中最关键的商业化问题。结合 OneSearch-V2 在阿里巴巴电商搜索中的大规模部署经验,生成式推荐从纯学术范式向全链路商业系统演进的路径正在变得清晰。广告平台和电商搜索团队值得跟进。
LLM Agent 的工具路由与分层架构。当工具池规模达到数万,工具路由本身成为一个独立的检索问题。SkillRouter (2603.22455) 揭示了元数据不足以指导工具选择、实现代码才是决定性信号的核心洞见。RES (2603.22367) 用三层分离架构将 LLM token 消耗从 O(n) 降至 O(1)。这两个方向共同指向 Agent 系统的工程化成熟——从"能用"到"经济可行"。所有在构建 LLM Agent 产品的团队都需要关注工具管理和 token 成本控制。
训练数据效率与流式蒸馏。DIET (2603.24958) 将训练数据压缩至 1-2% 同时保持性能趋势一致,且蒸馏结果跨架构可迁移。这对模型迭代速度受限于数据处理能力的大规模推荐系统有直接价值。与 KARMA 的语义正则化、UniScale 的数据-模型协同扩展一起,构成了工业系统效率优化的三个互补维度。
本周论文速览
Semantic ID 与生成式推荐
OneSearch-V2 — 阿里巴巴升级生成式搜索框架,引入推理增强自蒸馏和偏好对齐;线上 CTR +3.98%,转化率 +3.05%。
GateSID — 工业界提出自适应门控平衡语义与协同信号用于冷启动;线上 GMV +2.6%,CTR +1.1%,延迟 <5ms。
GEM-Rec — 学术界将广告竞价信号融入生成式推荐框架;证明 allocation monotonicity,无需重训。
SIDReasoner — 学术界提出两阶段框架让 LLM 在 Semantic ID 上推理;先 SID-语言对齐再强化优化。
CausalDPO — 学术界用因果不变性学习修正 DPO 在生成推荐中的偏差放大;四指标平均提升 17.17%。
LLM Agent 驱动的推荐与搜索
AI Co-Scientist — 工业界用多 LLM 共识 Agent 自动化搜索排序研究全流程;自动发现新序列特征处理技术。
DSL-R1 — 工业界设计 DSL 统一逻辑过滤与向量检索,RL 训练检索 Agent;Hit@1/3 +12.3%。
AgenticRec — 学术界提出端到端工具集成策略优化框架;list-wise GRPO 解决工具调用轨迹的信用分配。
SkillRouter — 学术界在 80K 技能池上做检索-重排路由;1.2B 参数,top-1 准确率 74.0%。
RES — 学术界提出三层分离 Agent 架构;O(1) token 复杂度,1.3 亿文章规模下平均 1,574 tokens。
工业级搜索排序优化
KARMA — 淘宝搜索提出 Knowledge-Action 正则化解决 LLM 微调语义退化;全链路部署,线上 Item Click +0.5%。
UniScale — 工业电商搜索提出数据-模型协同扩展框架;ES³ 数据系统 + HHSFT 架构联合优化。
DIET — 学术界提出流式数据集蒸馏;1-2% 数据保持性能趋势,迭代成本降低 60 倍。
其他
ITPO — 学术界提出隐式逐轮策略优化用于多轮人机协作;解决对话推荐中稀疏奖励和用户响应随机性问题。
Learned Sparse Retrieval for Code — 学术界系统分析学习型稀疏检索应用于代码的挑战;覆盖子词碎片化、语义鸿沟等问题。
TagLLM — 学术界用 LLM 生成细粒度可解释标签增强社区推荐;开放式标签生成替代固定标签池。