type
Post
status
Published
date
Oct 21, 2026 05:01
slug
ai-daily-2026-10-21
summary
今日最值得关注的是端侧与开源模型的双线推进：Meta Superintelligence Labs 发布 30B 开源 agentic 模型 Muse Glimmer，Apache 2.0 全量权重加 4bit 量化，单卡消费级硬件即可跑；同日 Ornith-1.5-122B 以 MIT 许可宣称单张 DGX 卡可运行。基础设施侧，DeepInfer 单集群跑出 155 万亿 token/天、约 80% 服务毛利，vLLM 用 Wide-EP 复现到 6% 以内；OpenAI API 新增 12 小时 prompt 缓存，直指全天在线持久 agent。产业动作上，Eka Robotics 完成
tags
AI
日报
技术趋势
category
AI技术报告
icon
📰
password
priority
1
📊 今日概览
今日最值得关注的是端侧与开源模型的双线推进：Meta Superintelligence Labs 发布 30B 开源 agentic 模型 Muse Glimmer，Apache 2.0 全量权重加 4bit 量化，单卡消费级硬件即可跑；同日 Ornith-1.5-122B 以 MIT 许可宣称单张 DGX 卡可运行。基础设施侧，DeepInfer 单集群跑出 155 万亿 token/天、约 80% 服务毛利，vLLM 用 Wide-EP 复现到 6% 以内；OpenAI API 新增 12 小时 prompt 缓存，直指全天在线持久 agent。产业动作上，Eka Robotics 完成 1.5 亿美元 A 轮押注力控灵巧操作，OpenAI 收购 Orchestra Bio 并入生命科学线，Aleksander Madry 回归负责超级智能安全。
🔥 趋势洞察
- 端侧 Agent 模型竞赛：Meta 开源 30B Muse Glimmer、Ornith-1.5-122B 宣称单卡可跑，消费级硬件上的 agentic 负载正成为模型发布新战场
- 推理成本进入毛利时代：DeepInfer 单卡时收入 $38 对应约 80% 服务毛利，Together AI 后训练降至 $9/GPU·小时，成本结构被公开拆解
- Agent 记忆与工具自进化：Databricks MemCurrent、IBM ALTK-Evolve、Google TEAL 同日指向"经验沉淀成可复用资产"，而非每次从零重做
🐦 X 推文动态
📈 热点与趋势
- Eka Robotics 完成 1.5 亿美元 A 轮 - 公司做力控灵巧操作机器人，底层是 Vision-Force-Action 模型。创始人列出三条判断：力是操作的语言；强化学习是灵巧操作规模化的路径；快速可靠的物理执行层是当前瓶颈 @pulkitology（Pulkit Agrawal，MIT 教授 / Eka Robotics 联合创始人）
- OpenAI 收购 Orchestra Bio - Orchestra Bio 是帮生物制药团队协调药物开发流程的平台。收购后并入 Rosalind 生命科学模型与工具线，创始人 Ashok Raj 带团队加入 @OpenAI
- Aleksander Madry 返回 OpenAI 负责安全 - 与 Merettm 搭档处理"超级智能的安全与安保挑战"。Madry 称几个月前离开时以为要去做 AI 实用性，如今判断重心必须转到安全 @sama（Sam Altman，OpenAI CEO） @aleks_madry（Aleksander Madry，MIT 教授 / OpenAI 安全研究员）
- Together AI 后训练降价至 $9/GPU·小时 - B200 上跑 SFT 或 RL，前八周有效，原价 $11。训练循环留在用户自己的代码里 @togethercompute（Together AI，开源模型基础设施）
- Sundar Pichai 播客谈 RSI、世界模型与算力分配 - 41 分钟访谈，话题含前沿模型是否还重要、递归自我改进、世界模型到 AGI 的路径、DeepMind 算力需求 vs Google Cloud 利润、AI 是否建设过度、Google 对 Muse 与 Dots 的回应 @Kantrowitz（Alex Kantrowitz，Big Technology 播客主持人） / 受访者 Sundar Pichai（Google CEO）
🔧 工具与产品
- DeepInfer 单集群跑 155 万亿 token/天，vLLM 复现到 6% 以内 - swyx 从 DeepSeek 知乎页挖出运营数字：单卡时收入 $38（低谷价），而 GPU 成本约 $5-10/卡时，对应约 80% 服务毛利。vLLM 用 Wide-EP + EPLB 在 GB200 上解码吞吐落在 DeepInfer 的 6% 以内（batch 8-256），GB300 上 AgentX 负载达 1M tokens/s/GPU、196 P90 TPS 时 $38.96/卡时，单用户最高 826 TPS @swyx（swyx，Latent Space 主播） @vllm_project（vLLM，开源推理引擎 / UC Berkeley 出品）
- OpenAI API 新增 12 小时 prompt 缓存 - 共享指令、工具与上下文可缓存一整天，请求间隔数小时仍按缓存输入价计费。面向全天在线的持久 agent @OpenAIDevs
- 两款开源模型同日发布：Ornith-1.5-122B 与 Muse Glimmer 30B - Ornith-1.5-122B 用 MIT 许可，称单张 DGX 卡可跑，SWE-bench Verified 0.845、BrowseComp 0.785、HLE 0.446、Toolathlon 0.708 @ornith_（Ornith，模型发布团队）。Muse Glimmer 是 30B、Apache 2.0，面向消费级硬件上的 agentic 负载，技术报告已出 @yorambac（Yoram Bachrach，Muse 研究者）
- oMLX 0.7.1 发布，DeepSeek V4.1 解码最高提速 373% - 新增 GGUF 支持（经 Splash）、Affine4/Affine8 KV 缓存（32K 上下文下 KV 小 74%）、GLM-5.3 与 DeepSeek V4.1 跨 Mac 的 PP/TP 分布式推理。M3 Ultra 上 DeepSeek V4.1 Flash 单请求 20.9→34.3 tok/s，8 并发 19.4→91.8 tok/s @jundotkim（Jun Kim，社区开发者）
- Databricks 推出 agent 持久记忆 MemCurrent - 情节记忆加派生记忆，三种接入方式：自动记录/加载的插件、按需调用的工具、后台离线"做梦"管线。内部企业数据基准上通过率 3 倍、token 少 31%、速度快 26%，已用于 Agent Bricks 的 Memory 与 Genie @databricks（Databricks，数据与 AI 平台公司）
- EAGLE-4 投机解码在 Qwen3.8-27B 上跑到 961.6 tokens/s - 条件为 BF16、4×B300、TP4、单请求、温度 0，代码已上 GitHub @EagleCorp（Eagle，投机解码研究团队）
⚙️ 技术实践
- Sakana AI 提出 QD-Rec，用进化搜索做开放式推荐 - 把 Quality-Diversity 引入推荐：按历史评估挑下一个候选，由 LLM 把已积累假设的切入点迁移到新候选，或组合多个假设。并购候选筛选、客户画像定向、论文推荐三类任务上，同等评估预算下评分更高、产出更多样 @SakanaAILabs（Sakana AI，日本 AI 实验室）
- vLLM 与 Physis-AI 推出 PhysisServe - 针对自回归去噪 serving，做去噪步与 Transformer 块间的阶段流水线、分时复用与多流联合调度。200 张 GPU 上 MiniMax H3 33B 每 4.083 ms 输出一块，约 245 块/秒，该数字仅含 DiT 去噪、不含 VAE 解码。核心技术将进 vLLM-Omni @vllm_project（vLLM，开源推理引擎 / UC Berkeley 出品）
- SGLang-Omni 支持全双工交互 - 用统一运行时抽象同时覆盖原生全双工模型、轮次式多模态模型与级联系统。1×H200 上 Qwen3.8-27B 级联（关闭 thinking）平均停止延迟 0.17 秒、响应延迟 1.32 秒 @lmsysorg（LMSYS Org，SGLang 开源推理引擎团队）
- 3DPWM：先补全几何再做动作条件预测的世界模型 - 指出部分点云不足以建模物理，因为物体形状有大块未知。3DPWM 先补全 3D 几何、再想象机器人动作后的未来，支持平行夹爪与灵巧手， rollout 长至 15 秒，优于 ParticleFormer 与 PointWorld。在 Coffee 与 MugCleanup 上学动力学，规划没见过的 CoffeePreparation 达 45% 成功率 @fuxinli2（Fuxin Li，Oregon State 教授 / 3DPWM 作者）
- 机器人策略三篇新结果：冻结 VLA 调一个特征、离散动作匹敌连续、人形全身体接口 - SteerAct 在冻结 VLA/WAM 上每任务 24 次测试时 rollout、只调一个特征，真实机器人平均成功率 31.1%→52.2% @alex_kai2020（Kaichen Zhou，SteerAct 作者）。512 档每维离散动作在仿真与真实、单步与扩散/流设置中匹敌或超过连续动作，连续回归预测的动作块抖动只有专家的 7% @GuanyaShi（Guanya Shi，CMU 教授 / 机器人学习研究者）。FIBER 用统一潜变量接口连接人形机器人高层规划与冻结的 Behavior Foundation Model，单套规划器完成推重门、搬箱、抓取与导航 @yutang_llin（Yutang Lin，FIBER 作者）
⭐ 精选内容
Laplace 3B 用线性注意力彻底甩掉 KV cache，并在 Trainium2 上跑通训练+服务 ｜ 长上下文推理成本的一条非 Transformer 路线
i14 的 Laplace 3B 用 Gated Linear Attention 把推理状态压成固定 29.5MB/序列，上下文再长也不涨——这是对"KV cache 随上下文线性膨胀"这一默认假设的正面挑战。文章真正值钱的是三段上板工程：用标准 PyTorch 算子重写 GLA kernel 并按 128 个 NeuronCore 切成 16×128 token chunk；Muon 优化器改用两次 all_to_all 集合通信，单卡流量降 24 倍、吞吐提升 1.63 倍；把 16 步 GLA 递推静态展开以适配静态编译器。单台 trn2.48xlarge 训练约 12 万 tok/s，1280 并发下服务 1.15 万输出 tok/s。对做长上下文 agent、推理成本优化或自定义架构落地的人，这是一份罕见的"架构-编译器-通信"三层对齐账本。
ALTK-Evolve：不训练模型、只蒸馏"行为准则"注入 system prompt，就在 τ²-bench 客服任务登顶 ｜ 一份可直接照搬的 Agent 经验记忆配方
IBM Research 让 GPT-4.1 分析 agent 在训练任务上的成功/失败轨迹，自动蒸馏成简短行为准则（如何验证客户、确认交易、处理退货），再追加到 system prompt。仅用 stock ReAct scaffold + GPT-4.1，就在 τ²-bench retail 上拿到 67.5% Pass^4，超过 10 月 12 日榜单所有 retail 条目。几个反直觉结论值得记：准则数量存在领域最优值、性能提升来自更多 token 而非更多轮次、同一套准则对前沿模型 agent 同样有效。对做客服/工具调用 Agent 的团队，这是"经验记忆"最省事的工程路径。
NVIDIA Cosmos3-H-Dreams：把生成式仿真从桌面缝合推进到真实临床胆囊切除手术 ｜ 世界模型落地医疗的一份实时闭环细节
基于 Cosmos3-H-Embodied-Nano（16B，Open-H-Embodiment 预训练），在 CMR Versius 平台的胆囊切除录像+机器人运动学上训练，据称是首个支持实时运动学控制的临床手术生成式仿真器。核心工程点：体内场景下组织牵拉、反光、遮挡、烟雾让小误差随时间累积，时序一致性成为硬约束；通过 teacher→4 步/2 步蒸馏 + FlashDreams 流式推理库，在单张 RTX PRO 6000 上做到实时闭环。文章还讨论了未见轨迹外推与用自己的数据/控制器适配。对做世界模型、VLA、机器人仿真的人，"生成式仿真替代数值仿真"的落地边界在这里第一次被具体化。
Interconnects 开源 artifacts 第 25 期：DeepSeek V4.1 Flash 新尺寸、小米 MiMo 登顶开源榜、中美监管双向收紧 ｜ 一周开源生态与地缘监管的 mental model
三条主线：①监管——中国 MOFCOM 拟对前沿模型国际共享设预审批（开源自动批准，但框架可复用），美国 DHS 禁止 DeepSeek 作为联邦采购供应商，并讨论微调/蒸馏模型是否连带受限；②模型——DeepSeek-V4.1-Flash-1017 新尺寸 552B-A16B 支持图像输入、MIT 许可、在 DeepSWE 性价比 Pareto 上领先；小米 MiMo-V2.6-Pro-RL 复用 V2.5 base 加大 RL 投入，登顶 Artificial Analysis 开源榜并放出技术报告与训练环境；③推理栈——DeepInfer 被估可带来最高 90% token 毛利。适合快速建立本周开源生态与监管格局的全局判断。
Mollick《30 Months on the Exponential》：180 个模型超越 GPT-4、METR 长任务从 4 分钟翻到 17 小时 ｜ 用可核查数据讲清"指数增长"的年度级综述
在新书《Co-Existence》发布当天，Mollick 用一组图表回顾 30 个月：GPT-4 之后有 20 个模型轮流登顶，180 个模型能力超过 GPT-4 发布时水平，其中 19 个能在手机上跑；METR 长任务基准从 4 分钟翻倍 8 次到 17 小时，随后基准本身失效（其他研究估计可达 17 周）；GPQA 单题成本从 30 美分降到 0.04 美分。还记录了他自己的工作方式变化：从在聊天窗口逐步引导，到把整个制图任务交给 Claude Projects 编排 agent 派生多个子 agent 完成研究、绘图、排版和引用。想跟人聊"AI 到底快不快"时，这组数字比任何观点都好用。
金融研究 Agent 评测方法论 + 91 个资源的可检索 benchmark 目录 ｜ 垂直 Agent 评测从"预测准不准"转向"能否完成分析师级工作"
ML4T 的 Stefan Jansen 系统梳理金融研究 Agent 评测：强调需同时定义任务、环境（文档/工具/时间预算）与成功标准，并区分终态检查与中间过程诊断（检索失败/解释错误/代码错误/结论无据）。配套上线可检索目录（91 个资源、66 个 benchmark），逐条标注构建者、输入工具、产出物与评分方式，并附背景论文《Choosing Evaluations for Financial AI Systems》讨论证据要求、grader 验证与重复运行成本。对做垂直 Agent 评测与选型的人，这是一份可直接复用的框架底稿——harness 影响、中间检查 vs 终态检查这两点尤其值得迁移到其他垂直域。
"Agent 能造 benchmark"的反例：LLM council 批准 94/123 个 PR，事后 probing 发现 22 个全有缺陷 ｜ 对"LLM-as-judge 审批 = 质量保证"的一次实证打脸
作者用同一套 TypeScript 引擎让 AI coding agent 构建了 22 个 agent benchmark，123 个合并 PR 的最后一个 commit 全部测试通过，LLM council 批准了其中 94 个；但事后 probing 复审发现 22 个全部有缺陷，每个至少需一轮修复（中位 3 轮、最多 9 轮），前 12 个发布的版本 changelog 明确标注旧分数不可比，至少 13 个包记录了"无视任务仍拿分"的策略。预注册检验用 8 个通用平凡策略回放，仅 2 个包的 trivial 最高分下降——说明通用策略探测漏掉了大部分已记录缺陷。对做 agent eval 的人，这是"审批通过 ≠ 质量保证"最具体的一份证据。
MCP server 安装前的六项检查清单 ｜ 团队引入 MCP 工具时的一份快速 checklist
六条：工具数量会挤占上下文并劣化工具选择、stdio 与远程 HTTP 的风险差异、明确进程可触达的路径/端点/命令、把工具输出当不可信输入（间接提示注入/工具投毒）、为每个 server 分配独立最小权限凭证、锁定版本并核查发布者。内容偏基础、无代码与真实攻击案例，但作为团队 onboarding MCP 时的对照清单够用——尤其"工具数量挤占上下文"和"工具输出当不可信输入"两条，是实际踩坑后才会有体感的设计约束。
来源：dev.to
🎙️ 播客精选
The Programmable Data Center — Evan Conrad, SF Compute
📍 来源：Latent Space | ⭐ 4/5 | 🏷️ Infra, Product, Interview | ⏱️ 36:43
Evan Conrad 以酒店类比说明 SF Compute 从转租集群扩展到自建云运营能力，核心是物理结算：买家获得可用算力而非现金指数。讨论算力合约的可交易化——按中断性、恢复速度、GPU 代际与网络配置匹配订单，牺牲流动性换取技术演进期的可交易性；涉及现货/远期定价、批量与实时推理差异、指数与实际采购成本脱节，以及中立市场运营者的必要性。工程侧涵盖选址、集群设计、背板与 InfiniBand fabric 动态切分，对关注算力成本与基础设施可编程性的从业者有参考价值。
💡 推荐理由： GPU 算力市场化与可编程基础设施深度技术访谈，嘉宾为 SF Compute CEO，涉及结算、定价与 InfiniBand 工程细节；偏基础设施细分，非 LLM/Agent 核心。
Inside the Robot Data Factory: Mecka's Josh Gao on Sensorizing Humans to Train Robots
📍 来源：Training Data | ⭐ 4/5 | 🏷️ Robotics, Infra, Interview | ⏱️ 45:11
Mecka 创始人 Josh Gao 详解机器人数据工厂：定制触觉手套与帽子采集力觉、百 G 上传线搬运数百 PB 数据、质量门控与反欺诈。他给出行业收敛的训练配方——约百万小时第一人称人类数据、数万小时机器人数据、少量域内遥操作，并强调触觉与仿真数据仍需入锅。核心判断：机器人不会有单一 GPT-3 时刻，而是商业任务逐步解锁，先从受限工业场景开始。对做具身智能与数据基础设施的从业者有参考价值。
💡 推荐理由： 机器人数据工厂创始人深度访谈，数据配方与运营细节有实战价值，但主题偏机器人数据采集，LLM/Agent 直接相关性略弱。
Why AI Companies Are Betting Personality Beats Intelligence
📍 来源：AI Daily Brief | ⭐ 3/5 | 🏷️ Product, LLM, Regulation | ⏱️ 28:39
NLW 探讨 AI 模型能力趋同后，人格化（personality）成为产品竞争关键，从 GPT-4o 回滚争议、Meta Muse 到 ChatGPT Dots 分析用户体验如何影响产品胜负及不同任务下的模型选择。另涉及 Musk 为美国儿童质押 SpaceX 股份、出口管制作为对 AI 实验室的杠杆、联邦 DeepSeek 禁令等头条。对从业者的价值在于理解产品差异化与用户感知层面的竞争逻辑。
💡 推荐理由： 聚焦 AI 产品人格化竞争这一新兴话题，有行业洞察，但属新闻评论类，缺乏深度技术或独家观点。
📄 今日论文精选
Muse Glimmer 30B: An On-Device Agentic Model
Meta Superintelligence Labs ｜ 🏷️ Agent Framework, Tool Use, Inference
Meta 开源的 30B 端侧 agent 模型，Apache 2.0 全量权重加 4bit 量化，单卡消费级硬件即可跑多步规划与工具调用，是"agent 下沉到本地"的标志性发布。
TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation
Salesforce ｜ 🏷️ Agent Framework, Code Agent, Agentic Workflow
让并行 agent 生成测试与补丁并交叉执行成 K×K 反馈矩阵，用客观执行结果互相精炼，SWT-Bench 上随机选输出都超过此前 SOTA，值得看长程 agent 如何 scaling。
Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
Microsoft Research ｜ 🏷️ Agent Framework, Agentic Workflow, Tool Use
用开源模型合成同时支持 GUI、MCP 与 CLI 的可执行环境，靠执行式质量门控解决可解性与验证器可靠性，训练出的模型在 8 个 OOD benchmark 上泛化——CUA 训练数据从哪来的一份答案。