- 标签:
- 日报 (138)
- 技术趋势 (91)
- AI (86)
- 推荐系统 (81)
- 周报 (20)
- 论文 (13)
- 思考 (7)
- Agentic Engineering (6)
- 工具 (4)
- 深度学习 (4)
- LLM (4)
- Harness Engineering (3)
- 推荐 (2)
- Transformer (2)
- 强化学习 (1)
- 思维模型 (1)
- 管理 (1)
- 生成式 (1)
本周 32 篇论文里有几条主线在同时推进。一是生成式推荐范式继续在工业链路里深挖——快手一家就贡献三篇,从 list-wise 重排到召回-排序统一再到 codebook 自适应,配合美团/英伟达的 KV cache serving 和华为的 RL 信号修复,把"生成式推荐能用,但 serving、RL、inference 顶不住"这条线一次性补齐。二是 LLM 推荐器的训练目标被拆开重做——Google 在 H-consistency 框架下证明 DPO 标准代理损失不一致并提出 SA-DPO,Meta 证明 GRPO+二元奖励等价于 AUC 优化并提出 Windowed Partial AUC,配合美团的潜在推理多因子分解和稀疏场景下"对齐够不够"的争论,质疑了"一个对齐目标走到底"的主流做法。三是 LLM 智能体在推荐系统的角色边界正在收敛——LinkedIn 的 schema-aligned 长期语义记忆、AgenticRecTune 的多智能体配置调优、Snap 的端到端趋势检测,三个工业落地都把 LLM 放在配置/记忆/趋势这类延迟不敏感、语义价值高的位置上,绕开了精排召回的实时性瓶颈。 基础设施侧 Meta 同时放出两篇系统论文——一篇 versioned late materialization 砍训练数据冗余,一篇 FreeScale 砍 256 卡分布式的计算气泡,明确支撑 HSTU/ULTRA-HSTU 的序列长度激进 scaling。LLM-检索-重排链路上则形成明显的"压缩派"共识:ResRank 把 passage 压成单 token、UAE 把 utility 信号蒸馏进 embedding、RRK 用多 token 压缩,统一指向"把推理预算从过 LLM 生成压到过一次相似度"。
工业 backbone 的 scaling 主线进入分化期。 本周三篇工业重磅都不再纠结"堆参数",而是从不同侧面回答"参数堆到一定规模后,下一个瓶颈在哪里":腾讯 RankUp 把"表示有效秩坍缩"作为一阶问题攻;阿里 LoopCTR 把训练算力和参数量解耦——共享层递归循环吃训练算力,推理时零循环;美团 SIF 把 token 化粒度从 item 上移到 sample 级,绕开序列与非序列特征的结构异构鸿沟。三家三种解法,但共同前提一致——serving 成本不可破,加法都加在训练侧或表示侧。 LLM 接精排的初期收益期在收尾,进入分层精修阶段。 阿里 MARC 给出"中层表示更优(MRA)"的反直觉观察,并把 LLM 显式拆成"表示学习 + 压缩 + 任务适配"三模块;华东师大 TF-LLMER 从优化曲率切入,定位 LLM 表示与协同 embedding 之间的范数差异和聚类角度错位是训练损失下不去的根因,并在实验中把 Yelp 训练损失约降低 30%;LLMAR 走完全免调优路线,把 nDCG@10 在工业 B2B 稀疏场景拉高 54.6%、每千用户推理成本 $1。理论上要解释训练为何不收敛,工程上要回答缓存哪一层、调不调,部署上要算清每千用户多少钱——三类问题都有了具体答案。 生成式与长序列推荐补足理论债,并开始挑战"候选无关用户表示"假设。 快手对生成式推荐核心训练目标做了形式化证明——k-token AR-NTP 与全词表 MLE 在 item ↔ k-Token 双射下严格等价,OneRec 那条流水线的损失函数选择第一次有了理论锚点。Meta 的 Mixture of Sequence 用主题感知 MoE 把长序列按主题拆成子序列,挑战的是"先压缩再打分"的传统思路;CaST-POI 则把候选当 query 去 attend 用户历史,跳出了"候选无关用户表示"的隐含假设——两条路线都在重写序列读取方式。