推荐算法日报 - 2026-10-24

type

Post

status

Published

date

Oct 24, 2026 05:15

slug

daily-report-2026-10-24

summary

生成式推荐的“推理降本”成为主战场：OneLatent 用可学习 latent token 压缩显式 CoT，把推理开销砍到 1/17 的同时线上广告收入 +9.6%，标志着 FRM 从“能不能推理”转向“推理得起吗”。工业界开始把 LLM 推理链当作可蒸馏、可内化的中间产物，而非线上必须生成的产物。; Agent 场景的评估体系正在重建：Adobe LARA 指出 CTR/MRR/NDCG 在 agentic assistant 中三大假设全部失效（谁先读、何时行动、归因于检索还是模型知识），

Section 1: 📊 Trend Analysis

🔥 生成式推荐的“推理降本”成为主战场：OneLatent 用可学习 latent token 压缩显式 CoT，把推理开销砍到 1/17 的同时线上广告收入 +9.6%，标志着 FRM 从“能不能推理”转向“推理得起吗”。工业界开始把 LLM 推理链当作可蒸馏、可内化的中间产物，而非线上必须生成的产物。

💡 Agent 场景的评估体系正在重建：Adobe LARA 指出 CTR/MRR/NDCG 在 agentic assistant 中三大假设全部失效（谁先读、何时行动、归因于检索还是模型知识），阿里 UserArena 则用真实电商长程轨迹 + 生产 A/B 离线复现来验证策略。评估从“单轮排序指标”转向“多轮归因 + 世界模型保真度”。

🧩 检索侧从“融合即正义”转向“按需融合”：The Fusion Tax 系统诊断出混合检索在 13-48% 查询上反而变差，GRIP 则用倒排优势反哺图索引实现 2.5× 延迟改进。召回工程进入精细化决策阶段——融合与否、图还是倒排，都要按语料稀疏-稠密平衡来定。

Section 2: 📋 今日速览

快手在本地生活广告场景提出 OneLatent，将显式 CoT 压缩为可学习 latent token，配合 MV-ACoT 多视角自适应监督与三阶段对齐。线上 A/B 收入 +9.6%，SID@64 较 Think/No-Think 分别 +17.44%/+9.33%，吞吐 17×。↗

Adobe 针对 agentic assistant 中生成层先消费检索导致的归因缺口，提出 LARA 三层评估框架与四字段 lineage schema，无需新建模。基于 Express 生产检索设施验证，chat 用户改写率 44.4% vs gallery 33.1%。↗

阿里联合高校构建 UserArena 电商交互基准，含 64,729 条会话、11,010 用户、13 类动作，支持与生产 A/B 结果离线对照。提出 OPTD 用轨迹级意图提供稠密教师信号，保真度最优且最接近复现线上策略效果。↗

LinkedIn 在 Premium 人员推荐召回中用偏好对齐意图检索替代画像相似度，将 DPO 实例化为曝光条件多负样本对比目标，位置编码聚合点击历史实现常数成本更新。0.6B 模型 MAR@100 达 0.45，线上 CTR 与留存双升。↗

Unknown 提出 IRAH，用 LATS-IR 层次化树搜索先选流水线结构再调超参，配合离线元学习热启动优化 RAG 检索流水线。三个分布内基准中两个优于 TPE（最高 +6.4%），四基准平均 held-out nDCG@10 达 0.4816。↗

安徽大学 提出 BGAFlow，用 LLM 推断用户画像建共享语义空间，按潜在兴趣重叠估计个性化迁移 horizon，并以条件 Bézier 曲线引导残差流做状态自适应演化。真实数据集上稳定超越 SOTA，缓解跨域稀疏与冷启动。↗

Independent Researcher 系统诊断混合检索的逐查询损失，提出“融合税”概念：最优融合方法仍在 13-48% 查询上劣于其较优组件。结论是融合决策应绑定目标语料的稀疏-稠密平衡，RRF 在稠密明显更强时税负更高。↗

HKUST、腾讯 提出 FlexVDR，在编码深度、嵌入宽度、token 数上构建联合路由族，由 Budget Allocator 从早期查询特征预测各路由检索效用并按资源偏好选路。ViDoRe V1/V2/V3 五个 backbone 上保留大部分原生检索质量，无需重训即可调算力。↗

University of Dayton 提出 FAIRGate，在基础排序器与 top-K 之间插入 agentic 策略选择层，从预定义公平策略库中选路，经确定性执行器约束修复与校验器审计。使公平性执行可度量、有界、可重放，LLM 仅基于验证后审计轨迹生成叙述。↗

MIT CSAIL、ISTI-CNR 挑战“LSR 图索引劣于倒排”的共识，提出 GRIP 融合词项入口播种、稀疏 sketch 近似路由、稀疏分区建图三项技术。MS MARCO v2（138M passages）上 95% recall@10 时较 Seismic 延迟改进 2.5×。↗

Section 3: 📰 Daily Digest

1. OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models

🔗 原文： https://arxiv.org/abs/2610.30675

🏷️ 来源： 🏭 工业界 | Kuaishou

⭐ 评分： ⭐⭐⭐⭐⭐ (5/5)

🎯 推荐理由： 快手提出 latent 推理压缩显式 CoT，线上广告收入 +9.6%、吞吐 17 倍

📝 摘要： 针对 FRM 采用显式 CoT 的 Think-then-Answer 范式带来的长推理 trace 开销与手工模板难以刻画动态兴趣两大痛点，OneLatent 将推理链压缩为若干可学习 latent token，实现 Latent-Reason-then-Answer 推理。方法上先以 MV-ACoT 从多视角生成多样化、复杂度自适应的教师监督，再用三阶段 latent-token 对齐把 CoT 逐步内化，最后以多阶段课程式后训练激活下游排序能力。在快手工业级数据与公开 LLM-Rec 基准上，SID@64 较 Think/No-Think 变体分别提升 17.44%/9.33%，在线推理吞吐提升 17 倍以上。团队还搭建了生产级实时 FRM serving 系统，本地生活广告 A/B 相对 OneRec、OneReason 等强基线带来约 9.6% 收入提升。这是把“推理能力”与“推理成本”解耦的范式级工作，对任何想上 FRM 的团队都有直接借鉴意义。

2. When Agentic Retrieval Fails Silently: Framework and Production Evidence from a Creative AI Assistant

🔗 原文： https://arxiv.org/abs/2610.30423

🏷️ 来源： 🏭 工业界 | Adobe

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 提出 LARA 三层评估框架，解决 agentic 检索归因缺口，有 Adobe 生产证据。

📝 摘要： 论文指出 CTR、MRR、行为 NDCG 隐含“用户看到排序结果并据此行动”的假设，而在 agentic assistant 中生成层先消费检索结果，该假设在三点上失效：agent 比用户先读（who）、用户行动可能滞后数轮或跨 session（when）、结果混合了检索内容与模型自身知识（what caused it），作者称之为归因缺口。为此提出 LARA，将检索质量、参与度与结果、产品成功拆为三个独立层，用四字段 lineage schema 串联且无需新建模。在 Adobe Express 上，同一套检索设施同时服务 gallery search 与 agentic assistant（约 1/8 session 量），chat 用户改写率 44.4% 显著高于 gallery 的 33.1%，因为 chat 改写是在精炼生成输出。该框架为 agent 场景的检索评估提供了可落地的归因方法论，局限在于未给出量化线上收益。

3. UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents

🔗 原文： https://arxiv.org/abs/2610.30932

🏷️ 来源： 🤝 产学合作 | Alibaba, Leiden University, Renmin University of China

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： 阿里真实电商长程交互基准，支持生产 A/B 离线验证，并提出 OPTD 提升用户模拟保真度。

📝 摘要： Agentic 推荐需要忠实的推荐世界模型来同时刻画交互式购物环境与用户长程行为响应，但现有资源缺乏长程细粒度真实轨迹，也难以做轨迹级评估与对生产 A/B 的离线验证。UserArena 提供 64,729 条会话轨迹、11,010 用户、566,102 商品、13 类动作，配套交互环境并支持与受控生产 A/B 结果对照，形成从输出有效性、局部决策到序列行为、个性化、最终结果的五级评估。方法上提出 On-Policy Trajectory Distillation，用轨迹级意图在学生自生成 rollout 上提供稠密教师目标。实验显示 OPTD 在评估协议下保真度整体最优，且最接近复现生产策略效果。对做 agentic 推荐离线仿真的团队，这是目前少见的“能对上线上”的基准。

4. PAIR: Preference-Aligned Intent Retrieval for Premium People Recommendation at LinkedIn

🔗 原文： https://arxiv.org/abs/2610.30941

🏷️ 来源： 🏭 工业界 | LinkedIn

⭐ 评分： ⭐⭐⭐⭐ (4/5)

🎯 推荐理由： LinkedIn 工业落地：偏好对齐意图检索替代画像相似度，线上 CTR 与留存双升。

📝 摘要： 职业社交网络的匹配本质是互补而非对称——求职者更愿意联系招聘者而非履历相似的同行，因此基于画像相似度或共同连接的通用 embedding 会系统性错排。PAIR 用偏好对齐意图检索替代相似度建模，将 DPO 的偏好学习视角实例化为 embedding 空间上的曝光条件多负样本对比目标，无需显式参考模型即可扩展到大规模候选集。同时用位置编码聚合固定窗口点击历史，实现常数成本的用户表示更新，服务期仅需轻量 CPU 操作、无需重复 LLM 推理。在 LinkedIn Premium 检索任务上，0.6B 参数模型 MAR@100 达 0.45，线上 CTR 与 Premium 留存双升。方法为对比学习与偏好对齐的组合式改进而非范式创新，但“互补意图 + 常数成本个性化更新”的工程取舍对大规模召回很有参考价值。

5. IRAH: Hierarchical Agentic Tree Search for Retrieval Pipeline Optimization

🔗 原文： https://arxiv.org/abs/2610.30167

🏷️ 来源： 🎓 学术界 | Unknown

⭐ 评分： ⭐⭐⭐ (3/5)

🎯 推荐理由： LLM agent 树搜索 + 元学习初始化自动优化 RAG 检索流水线，实验有限但思路可借鉴。

📝 摘要： 在有限评估预算下优化 RAG 的检索流水线，需要同时选择结构组件与数值超参，搜索空间大且每次评估昂贵。IRAH 将 Language Agent Tree Search for IR（LATS-IR）与离线元学习初始化结合：LATS-IR 做 UCT 引导的层次化搜索，先探索宏观流水线结构再精调数值参数，并用自然语言反思指导后续变异、留下可检视的搜索轨迹；元学习热启动则提供先验以压缩预算。在三个分布内与一个分布外基准上，同等初始化下 LATS-IR 在三个分布内基准中的两个优于 TPE，最高提升 6.4%，分布外保持竞争力；四个基准平均 held-out nDCG@10 达 0.4816，优于冷启动版本。属于组合式增量创新，实验规模有限，但“LLM agent 做检索流水线自动调优”的思路可迁移到召回链路配置搜索。

Let me write the report, ~2800-3000 Chinese characters max. Need inline citations [RAG-N], [WEB-N] with at least 2 WEB citations.

Structure:

引子 (~200字)

H3 1: 显式 CoT 长度与排序指标的饱和曲线 (~700)

H3 2: 把 CoT 蒸馏进 latent 的训练配方 (~750)

H3 3: 按候选分配思考预算 (~650)

H3 4: 线上服务约束：prefill/解码配比、KV 复用 (~650)

工业落地启示 (~300)

Let me gather facts from materials:

[Meituan] (2606.07075 CaLIR): category-guided latent intent reasoning for generative retrieval in e-commerce. Insert fixed number of category-guided latent reasoning steps before SID decoding; reasoning before first SID token because early prefix error → beam search concentrates on irrelevant catalog region; explicit category path/textual rationale adds autoregressive steps and forces commitment to discrete intermediate labels, undesirable for low-latency e-commerce search and ambiguous multi-intent queries.

[Kuaishou] (2603.24422 OneSearch-V2): explicit CoT latency prohibitive for online deployment; latent reasoning internalizes into continuous hidden reps; Coconut replaces textual steps with continuous thought vectors; CODI compresses explicit CoT into continuous thought vectors; LatentR3 applies RL over continuous latent reps; single-stage self-distillation with L1 hidden-state alignment; these methods require architectural modifications (additional token embeddings, projection layers, specialized decoding) which complicate deployment.

[Huawei] (2601.01712 RelayGR): GR inputs: most tokens encode user behaviors, not candidate items; long-term behaviors form prefix, evolve slower; pre-infer long-term user prefix, cache per-layer KV, reuse when scoring candidates; prefixes user-specific (not shared across queries); cache must survive multiple pipeline stages.

[Meituan] (2604.26760 Factorized Latent Reasoning, Meituan LongCat + UNSW): explicit CoT drawbacks: need for high-quality CoT annotations and substantial inference overhead due to autoregressive token generation, hard to scale to large item vocabularies and latency-sensitive environments. Latent reasoning iteratively refines internal representations.

[Samsung] (2605.27429 Ocean4Rec): production multi-stage pipelines; latency constraints; Persona4Rec shifts item-side reasoning offline, competitive accuracy vs LLM rerankers while reducing inference time; request-time LLM use moves candidate serialization, prompt construction, token generation, model invocation, output parsing, retry into serving path.

[Alibaba] (2603.01425 LaSER): extend query with K latent thinking tokens T = {t1..tK}; replace discrete token generation with autoregressive sequence of continuous thought vectors; two inference pathways during training (explicit-view and latent-view), only latent-view at inference; loss computed from both.

[LinkedIn] (2512.07846 MixLM, LinkedIn): cross-encoder rankers prefill-heavy due to long contexts; MixLM mixes text tokens with learned embedding tokens; item descriptions pre-encoded into small number of embedding tokens stored in nearline cache; reduce online item context from thousands of text tokens to a few embeddings; 10.0× throughput over strong baselines, 75.9× over full-text LLM rerankers under fixed latency budget, comparable relevance; full-traffic deployment, +0.47% DAU.

[2610.06666]/[paperswithcode.co] (2610.06666 FLaRe): flow matching in learned latent space; five requirements: useful, diverse, explainable, refinable, efficient; FLaRe reaches 97% of explicit-CoT accuracy at one-quarter latency. Also: several CoTs per question help flow model; end-to-end training through full rollout required; answer pass must read imperfect thoughts; flow trained mostly near noise.

[2610.25519] (2610.25519 ATEST): test-time scaling with fixed sampling budgets ignores query difficulty and changing energy cost; up to 4.1-fold increase in energy for same four-sample query as GPU load rises; ATEST-Online requires no offline calibration, incrementally generates samples, estimates stability of plurality answer, monitors live GPU conditions.

[2610.11472] (2610.11472): CoT → loops, non-autoregressive latent reasoning via looped transformers.

[2610.21182] (2610.21182): taxonomy for latent reasoning — does latent CoT actually reason.

[2610.21500]/[2610.21500] (2610.21500): remote KV tier; median TTFT unchanged but 16k p99 from 3.96s to 17.3s; remote hit took 0.88s vs 0.31s recompute; hit pays off only if tier delivers more than B* = sR (2.53 GB/s); fixed per-hit engine cost T0 ~ 0.33s means hits on prompts shorter than ~17k tokens cannot beat recompute; sharding MLA KV across context-parallel ranks, async loading → hit-heavy p99 from 83.32s to 0.67s.

[redwoodresearch.org]: Redwood — latent reasoning undermines CoT monitorability (interpretability angle). Could mention briefly as tradeoff (auditability) — maybe skip to save words, or one sentence.

Now write. Word budget ~2800-3000 Chinese chars. Let me draft carefully.

引子: 今天三篇 paper 都指向同一个账本：LLM 排序/生成推荐的成本主要在"想多久"。快手 OneLatent 用 latent 推理替代显式 CoT 拿到 17× 吞吐 [RAG 不行—OneLatent 是 seed paper 2610.30675，材料里没有它的 chunk]。Hmm — 引子要引用材料的。2610.30675 在 RAG/Web 材料里都没有。我只能引用材料中出现的。引子可以用 [Kuaishou], [Meituan], [LinkedIn], [paperswithcode.co]。

Careful: cannot cite 2610.30675 as [RAG-N] since no chunk. So引子 rely on [Kuaishou] (explicit CoT latency prohibitive), [Meituan] (Meituan), [LinkedIn] (LinkedIn MixLM).

Now write sections.

H3-1 显式 CoT 到底值多少 token？收益在哪里饱和

[Kuaishou]: explicit CoT token generation incurs prohibitive latency for online deployment; Coconut/CODI replace/compress.

[Meituan] Meituan: two drawbacks — CoT annotation cost + autoregressive overhead; hard to scale to large item vocabularies.

[Meituan] CaLIR: explicit category path or textual rationale before SID adds AR steps and forces commitment to discrete intermediate labels; for ambiguous multi-intent queries it's undesirable.

[paperswithcode.co] FLaRe: 97% of explicit-CoT accuracy at 1/4 latency → 即显式 CoT 的"额外 3/4 延迟"只买到 3% 准确率；latent 需要 useful/diverse/explainable/refinable/efficient 五条。

饱和: [paperswithcode.co] 提到 several CoTs per question help flow model（多 CoT 提升 latent 教师质量），说明信息量而非长度是上限。

[2610.25519] ATEST: fixed sampling budget ignores query difficulty; 4.1× energy variance. 对应"按需给预算"。

结论：显式 CoT 的收益不是随 token 线性增长；[Meituan] 的论证是"位置比长度更重要"——放在第一个 SID token 之前，在连续空间校准，而非写长 rationale。

H3-2 把 CoT 蒸进 latent：训练配方

[Alibaba] LaSER: K 个 latent thinking token，训练时双路（explicit-view 有额外信息，latent-view 只有 query），loss 由两路共同算，推理只用 latent-view。关键：explicit 路径只是教师，不进服务。

[Kuaishou] OneSearch-V2: single-stage self-distillation + L1 hidden-state alignment（对齐教师隐状态而非只对齐输出分布）；并指出 Coconut/CODI/LatentR3 需要额外 token embedding、projection layer 或专用解码，部署复杂 → OneSearch-V2 强调不引入额外推理成本。

[paperswithcode.co] FLaRe: flow matching 在学到的 latent space；三个训练细节：flow 主要在有噪声区间训练、answer pass 必须读"不完美 thoughts"、多个 CoT/问题有帮助、必须端到端通过完整 rollout 反传。→ 即"逐步 token 模仿"是错的（imitating one token at a time 被列为当前方法的问题）。

[2610.11472]: looped transformer 非自回归 latent 推理，把 CoT 的"额外计算"变成循环层数而非 token 数 → K 步 latent ≈ 循环次数。

[2610.21182]: taxonomy 质疑 latent CoT 是否真在推理。可作为风险提示。

蒸馏掉多少指标：[paperswithcode.co] 97% / 1/4 latency 是唯一硬数字。

H3-3 按候选/按请求分配预算

[Meituan] CaLIR: 固定数量 category-guided latent steps（fixed number）→ 预算固定而非自适应。

[Samsung] Ocean4Rec: Persona4Rec 把 item 侧推离线，精度接近 request-time LLM reranker 但推理时间下降 → 预算从"每次请求"搬到"离线一次"。

[LinkedIn] MixLM: item 描述预编码成少量 embedding token 存 nearline cache，在线 item 上下文从数千 text token 压到几个 embedding。

[2610.25519] ATEST: 在线按 GPU 负载和答案稳定性增量采样，无需离线校准；能量随 GPU 争用 4.1× 波动。

[Huawei] RelayGR: 用户长行为前缀离线预推、KV 缓存，候选打分时复用 → 预算是"按请求共享一次、按候选复用"。

选择偏差：级联廉价打分挑候选——材料里 [2610.25519] 的 stability 估计和 [Huawei] prefix 是间接；我要避免编造。可以说"廉价打分先筛候选"这个方案在材料中没有直接对应；改为：[LinkedIn] 的混合表示是在输入侧降 token，不是按候选降思；[Meituan] 是固定步数。所以真正的"按候选自适应"仍是空白 — 可以指出这点作为开放问题（不带引用也行，但是论断需要引用...）。我可以表述为对材料归纳："四篇里没有一篇按候选动态决定 latent 步数 [Meituan][LinkedIn]"，这是对材料本身的观察，可以引用这两篇。

H3-4 线上服务：prefill/解码配比与 KV 复用

[LinkedIn] MixLM: cross-encoder prefill-heavy；10.0× / 75.9×；+0.47% DAU。

[Samsung]: 请求时 LLM 把候选序列化、prompt 构造、token 生成、输出解析、重试都搬进服务路径。

[Huawei] RelayGR: 前缀 user-specific、跨阶段存活。

[2610.21500]: remote KV tier 门槛 B* = 2.53 GB/s，固定 per-hit 成本 T0 ≈ 0.33s，<17k token 的 prompt 命中不如重算；同步加载把 hit-heavy p99 从 3.96s(16k p99) 拉到 83.32s，异步+分片 MLA KV 后回到 0.67s。

含义：latent 推理生成的是"少量连续向量"而非长 token 序列，正好绕过 KV 复用的经济性门槛问题？可以推断：latent step 的 K 通常很小（LaSER 的 K 个 thinking token [Alibaba]），prefill 占比更高，因此 MixLM 式输入压缩更有效。

工业落地启示：3 条建议。

Now count. Let me write and keep ~2900.

Let me write the markdown string.

I'll be careful with markdown and count roughly. Let's write.

Draft:

🎯 今日主题：推理重排的思考预算：显式 CoT 还是 latent 推理？

引子段：约 200 字。

"LLM 排序的成本几乎全部花在"想多久"上。三篇工业论文给了同一个诊断的不同侧面：显式 CoT 的逐步解码对在线部署是"prohibitive latency" [Kuaishou]；美团 LongCat 与 UNSW 的总结更直白——CoT 既需要高质量标注，又要付出自回归生成的推理开销，item 词表一大就撑不住 [Meituan]；LinkedIn 的 MixLM 则从另一头证明，把输入从数千 text token 压到几个 embedding token，固定延迟预算下吞吐能涨 10.0×、相对全文本 LLM 重排器 75.9× [LinkedIn]。于是问题变成：思考这件事，是该写成 token、放进隐状态，还是按需分配？"

That's about 260 chars. Fine.

Section 1 (~700):

显式 CoT 的收益在哪一步饱和？

论断: 显式 rationale 的收益不随 token 线性增长，且存在位置效应。

FLaRe: 97% at 1/4 latency [paperswithcode.co] → 3/4 延迟买 3 点。

[Meituan] 两条代价.

[Meituan] CaLIR: 位置论证 — 一旦第一个 SID token 生成，解码器已锁定离散索引空间的一个分支；SID 是人造码不是自然语言语义单元，早期前缀错会让 beam search 集中到无关目录区域，后续 token 或事后重排难以救回。所以 reasoning 放在第一个 SID token 之前，此时仍在 query-conditioned 连续表示空间里。→ 显式 category path / textual rationale 的替代方案要多几步自回归，还强迫模型承诺离散中间标签，对低延迟电商搜索和多意图歧义查询都不利。

[2610.25519] ATEST: 固定采样预算既忽略查询难度也忽略 GPU 争用的能耗变化，同一个 4 样本查询能量可涨 4.1×。

[paperswithcode.co] 五条要求(useful/diverse/explainable/refinable/efficient)，其中 refinable 意味着预算可加。

归纳：显式的价值在"可审计"（[redwoodresearch.org] Redwood 论点：latent 会削弱 CoT 这个最强监督工具），latent 的价值在延迟。可以加一句 [redwoodresearch.org] 引用。

Section 2 (~750):

把 CoT 蒸进隐状态：教师怎么打标、对齐在哪一层

LaSER [Alibaba]: K 个 latent thinking token，把离散 token 生成换成连续 thought 向量的自回归序列；训练时两路——explicit-view 带额外信息，latent-view 只有 query，loss 由两路共同算，推理只走 latent-view。即显式路径是教师脚手架，不进服务。

OneSearch-V2 [Kuaishou]: single-stage self-distillation + L1 hidden-state alignment（对齐中间隐状态，不是只对齐输出）；对比 Coconut 替换文本步为连续 thought 向量、CODI 把显式 CoT 压成连续向量、LatentR3 在连续表示上做 RL；指出这些方法要额外 token embedding、projection layer 或专用解码，部署复杂。

FLaRe [paperswithcode.co]: 批判 "distill the explicit CoT into weights" 与 "imitate it one token at a time"；正确配方是 flow matching——几个设计选择：flow 主要在噪声附近训练、answer pass 必须读不完美 thoughts、一题多个 CoT 有帮助、必须端到端通过完整 rollout 反传。

Looped transformer [2610.11472]：非自回归，把额外计算换成循环次数，K 步 ≈ 层循环次数，不再有 token 序列。

代价：97%/1/4 [paperswithcode.co]；taxonomy 质疑是否真推理 [2610.21182]。

Section 3 (~650):

预算按请求分、按候选分、还是干脆搬到离线

[Meituan] CaLIR: fixed number of category-guided latent steps —— 固定，不随候选变。

[Samsung] Ocean4Rec: Persona4Rec 把 item 侧推理搬离线，精度接近 request-time LLM 重排器而推理时间更低；request-time LLM 会把候选序列化、prompt 构造、token 生成、输出解析、重试全塞进服务路径。

[LinkedIn] MixLM: item 描述预编码成少量 embedding token 存 nearline cache。

[Huawei] RelayGR: 用户长行为前缀占输入多数 token，且演化慢 → 离线预推、缓存 per-layer KV、精排打分候选时复用。

[2610.25519] ATEST-Online: 增量生成样本、估计 plurality 答案稳定性、监控在线 GPU 条件，无需离线校准 → 逐请求自适应。

归纳：预算的作用域有三种（离线固化 / 请求级共享 / 候选级），材料里没有一篇按候选动态决定 latent 步数 [Meituan][LinkedIn]，这是空白。

Section 4 (~650):

服务侧的账：prefill 占比与 KV 复用的盈亏线

[LinkedIn]: cross-encoder 重排器 prefill-heavy，因为 user+query+item 拼成长上下文；因此压缩输入侧 token 比压缩思考 token 更划算。

[2610.21500]: 远端 KV tier 的盈亏线——缓存命中要跑赢重算，需要带宽 > B* = 2.53 GB/s，且有固定 per-hit 成本 T0 ≈ 0.33 s，导致 <17k token 的 prompt 命中永远不如重算；同步加载把 hit-heavy p99 从 16k p99 3.96 s 推到 83.32 s，分片 MLA KV + 异步加载 + 三个客户端修复后回到 0.67 s。

[Huawei]: 推荐侧前缀 user-specific、不跨查询共享，且要跨多个 pipeline stage 存活 → 比 LLM 服务里的 prefix caching 更难。

推论：latent 推理的 K 通常很小 [Alibaba]，解码段本来就短，prefill 占比更高；所以 latent 化的收益要和输入压缩叠加，而不是替代。

工业落地启示 (~300):

1. 先算 prefill/decode 账：如果上下文是 item 文本数千 token，先做 MixLM 式近线缓存 [LinkedIn]，再谈 latent。

2. latent 预算按请求分：长尾/多意图请求给更多 latent 步，热门 head 请求走固定少步 [Meituan][2610.25519]。

3. 别丢掉可审计的出口：保留显式 rationale 作为离线教师或抽样监控，latent 只做在线 [Alibaba][redwoodresearch.org]。

Now assemble and count characters. Roughly: 260+700+760+660+660+320 = 3360. Slightly over. Need to trim to ≤3000. Let me target ~2850.

I'll compress. Let me write the actual text now and estimate.

I'll write carefully with moderate length.

Final text (I'll count approximately by segments).

Segment 1 (~230):

"LLM 排序的钱几乎都花在"想多久"上。显式 CoT 的逐步解码对在线部署是 prohibitive latency，latent 推理因此被拿来当替代 [Kuaishou]；美团 LongCat 与 UNSW 把代价拆得更细：CoT 既要高质量标注，又要付自回归推理开销，item 词表一大就在延迟敏感环境里撑不住 [Meituan]；LinkedIn 的 MixLM 从另一端证明，把在线 item 上下文从数千 text token 压到几个 embedding token，固定延迟预算下吞吐涨 10.0×、相对全文本 LLM 重排器 75.9× [LinkedIn]。问题是：思考该写成 token、压进隐状态，还是按需分配？"

~250 chars.

Segment 2 target 650. Write:

显式 CoT 的收益在哪一步饱和？

最硬的对照数字来自 FLaRe：latent 推理在四分之一延迟下达到显式 CoT 准确率的 97% [paperswithcode.co]。反过来读就是——显式 CoT 多花的那 3/4 延迟只换来 3 个点，收益曲线尾部极平。这也解释了为什么工业界急着换范式 [Kuaishou]。

但"完全不要显式"未必对，位置比长度更关键。CaLIR 在电商生成式检索里把推理放在第一个 SID token 之前：一旦模型吐出首个 SID token，解码器已经锁定离散索引空间的一个分支；SID 是人造码而非自然语言语义单元，早期前缀错会让 beam search 聚焦到无关目录区域，后续 token 或事后重排都难救。因此推理必须发生在仍处于 query-conditioned 连续表示空间的时候。它同时否掉了显式替代方案——先生成 category path 或 textual rationale——理由是多出若干自回归步、且强迫模型承诺离散中间标签，对低延迟电商搜索和多意图歧义查询都不划算 [Meituan]。

另两篇给出"长度不是唯一变量"的旁证。FLaRe 提出有效 latent thought 需满足 useful、diverse、explainable、refinable、efficient 五条，其中 refinable 意味着预算可以继续加，而 explainable 意味着解码出的 CoT 要真的反映答案所依据的推理 [paperswithcode.co]。ATEST 则测出固定采样预算的两个盲点：忽略查询难度，也忽略 GPU 争用下的能耗漂移——同一个四样本查询，GPU 负载升高时能耗最多涨 4.1 倍 [2610.25519]。

换句话说，显式 CoT 现在的定位是"可审计的教师与监控出口"：Redwood 的立场是 latent 架构会削弱 CoT 这个最强的监督工具 [redwoodresearch.org]。做在线服务时，它是成本项；做质量归因时，它仍不可替代。

~660 chars. OK.

Segment 3 (~720):

把 CoT 蒸进隐状态：教师怎么打标、在哪一层对齐

LaSER 的配方最完整：把离散 token 生成换成连续 thought 向量的自回归序列，给 query 追加 K 个 latent thinking token；训练时跑两条路——explicit-view 带额外信息、latent-view 只有 query，loss 由两路共同计算，推理阶段只走 latent-view [Alibaba]。显式路径是脚手架，不进服务。

OneSearch-V