Workflow
机器之心
icon
搜索文档
世界模型能不能上桌?WorldOracle给出了一场真实大考
机器之心· 2026-10-16 17:41
文章核心观点 - 世界模型在动作驱动预测中可能生成看似合理却与实际执行不符的结果,即“脑补”成功结局而非真实预测未来 [2][5] - 普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和智元的研究人员共同提出WorldOracle评测平台,以真实执行为参照检验世界模型预测能力 [5] - 评测发现两类突出问题:机械臂移动路径预测较准但物体位置和运动仍可能偏离现实;短时表现较好的模型在完整操作序列中可能明显退化 [7] - WorldOracle于10月16日向开发者正式开放,开发者使用评测集提供的初始画面和动作序列生成预测视频并提交平台,由平台与真实执行记录对照评分 [7] 首批成绩单:七种世界模型谁能对上真机 - 研究对包括DreamDojo、Cosmos 3、IRASim、GE-Sim 2.0等七种代表性模型开展评测 [7] - 五个参评模型的机械臂得分均高于物体得分,画面中机械臂即使较好跟随给定动作,物体位置与运动仍可能偏离现实 [14] - IRASim的机械臂得分为78.8,操作物体只有29.1;Cosmos 3的两项得分分别为89.4和45.4 [14] - 同一组机器人遥操作数据上,五个模型的单视角综合分均有所下降 [18] - DreamDojo得分从50.56降至27.08,Cosmos 3从53.99降至26.60,两者下降均接近减半 [18] - GE-Sim 2.0得分从73.86降至63.33,短时与完整长序列得分均为五种模型中最高,长序列下降幅也相对较小 [18] - 模型之间相对次序发生变化:IRASim前30秒得分低于Ctrl-World、DreamDojo和Cosmos 3,但完整序列得分高于这三个模型 [19] WorldOracle的出题与判分机制 - 评测从预先采集的真实操作记录出发,向模型提供初始画面和动作序列,由模型生成预测视频,再与同一组动作对应的真实执行进行比较 [22] - 模型需要预测真实操作中的抓空、掉落和洒水,即便现实操作失败,如果准确预测这次失败也是正确的预测 [23] - 失败案例成为重要测试样本,检验模型是否遵循给定动作及其后果,还是把操作过程补成常见成功版本 [24] - 评测覆盖智元G2、YAM两种机器人本体,以及第一视角人手操作场景 [24] - 四类任务包括水果抓取、挂毛巾、倒水和开合抽屉,分别涉及刚体、柔性物体、流体和关节物体交互 [24] - 人手场景面向能够接收手部动作输入的世界模型,检验模型能否根据记录的手部姿态序列预测后续物体变化和交互结果 [24] - 具备相应第一视角世界建模能力的模型在人手场景下接受零样本评测,不使用平台提供的额外人手适配数据 [24] - 数据包含两类来源:一类由人工完成任务采集,包括机器人遥操作轨迹和人类手部操作轨迹;另一类是机器人策略自主执行轨迹 [27] - 机器人自主执行时可能出现不同于人工操作的停顿、抖动和动作修正,纳入这类数据有助于检验世界模型面对不同来源动作能否仍然预测准确 [28] - WorldOracle是唯一同时覆盖动作序列输入、真实执行数据、失败案例、长时序交互、多本体、多视角及策略自主执行轨迹的具身世界模型评测基准 [29] 评测赛道与指标体系 - 平台设置三条赛道:WorldOracle-Core评估人工采集轨迹前30秒的预测表现;WorldOracle-Policy评估模型对机器人策略自主执行完整过程的预测表现;WorldOracle-Long评估人工采集的完整长序列中的持续预测表现 [31] - WorldOracle用四项互补指标检查预测 [32] - 物理状态正确性:检查每次交互结束时的物体位置、抓取状态、液体转移等是否与真实结果相符 [39] - 交互空间对齐度:检查物体、机械臂或人手的位置及移动路径是否与真实过程一致 [39] - 关键交互区域保真度:聚焦物体、夹爪和人手等区域,综合像素、感知与语义相似度,减少大面积背景对评分的干扰 [39] - 多视角动作一致性:针对支持多视角输出的模型,检查各同步相机画面中的机器人运动是否与真实执行对齐 [39] - 前三项指标等权平均形成单视角综合分;多视角评测加入第四项后再等权平均,分项成绩同时保留 [34] - 研究邀请119名参与者比较128对预测视频,发现四项指标对预测优劣的判断与人类选择的一致率为88.1%—93.2% [35] - 该评测衡量的是预测与一次真实执行记录的匹配程度,对于流体、柔性物体和随机接触,同样动作可能产生多种合理结果,单次参照尚不能完整描述这些可能性 [35] - 不同本体的训练支持不相同:G2使用专门采集的训练集,YAM使用公开数据,人手场景采用零样本评测,三个场景的成绩不宜直接用于判断本体难度或跨本体泛化能力 [35] 平台开放与模型迭代反馈 - WorldOracle支持开放权重与闭源模型参与,开发者完成注册和审核后可根据模型支持的本体或操作场景选择赛道,按提交指南生成并上传预测视频,查看综合分、分项成绩及对比结果 [37] - 对于模型迭代,反馈可以落到具体问题:一次改进是否让物体运动更准确、是否减少了对失败操作的误判、预测时间拉长后提升是否仍然成立 [38] - 世界模型生成的未来是否可靠需要放到真实执行面前检验,WorldOracle将这种检验转化为统一的任务、数据和评分方法,为开发者比较模型、识别误差和验证改进提供依据 [38]
硬件、数据到模型:Sharpa如何系统性推进灵巧操作
机器之心· 2026-10-16 17:41
文章核心观点 - 具身智能的数据路线正从遥操作快速转向人类视频,但灵巧手因涉及接触力与触觉信息,面临比夹爪更复杂的数据难题 [1][3] - 灵巧操作的核心瓶颈在于接触,Sharpa 围绕此确立三条探索主线:解决本体差异、解耦运动与交互、以触觉为锚学习跨本体表征 [5][23] - 三条主线并行且相互促进,最终在底层 System 0 汇合,为具身智能分层架构提供数据与触觉控制基础 [23][79] 灵巧操作的数据两难 - 遥操作数据与机器人本体对应可直接训练,但操作员难以获得高保真接触力与触觉反馈,精细操作中只能凭视觉猜测力度 [19][20] - 以人为中心的数据采集通过动捕、数据手套或头戴相机记录,人手有完整触觉反馈且操作自然,但存在人手与机器人手的本体差异 [20][21] - 本体差异分两层:视觉上画面是人手而非机器手;动作上只能得到 hand state 而非动作,缺少力和触觉信号 [22] - 数据采集越贴近人的自然动作,本体差异越大;越贴近机器人结构,对操作者要求越高、体验越差 [22] 主线一:击穿具身鸿沟 - 核心目标是解决以人为中心的数据与遥操作数据之间的本体差异,回答数据如何转化为机器人能力 [27] - UVTA 在 Sharpa AE01 外骨骼数据手套基础上加装指尖触觉传感,22 自由度被动连杆记录手指运动,每个指尖力敏电阻阵列记录触觉,腕部相机记录第一视角画面 [26] - UVTA 将人类演示与少量机器人遥操作数据联合训练,映射到共享视觉-触觉-动作空间,人类数据仅作训练监督,部署时机器人执行自身动作 [30] - UVTA 将视觉-触觉输入转换为 20 维压阻式触觉单元 token,Transformer 提取 384 维视觉 token,拼接为 404 维交互表示 [32] - 在翻书、拧灯泡、拨开关、小球分类、液体转移五个任务上,UVTA 平均成功率 70%,对照 T-Rex 为 29% [32] - Scaling 实验中固定每任务 150 条机器人演示,人类演示从 0 条增至 1000 条,三个任务平均成功率从 0% 升至 84%,1000 条时仍未饱和 [32] - DexEMG 用前臂表面肌电信号推断手部姿态,实时重定向到 22 自由度 Sharpa Wave 灵巧手,不依赖摄像头,手指被遮挡时仍可遥操作 [33] - Dex-X 从单目 RGB 人类视频提取人手与物体三维运动轨迹,导入物理仿真环境,通过碰撞体与接触动力学反向补足手-物交互力学信息 [36] - 主线一将数据采集重心从逼迫人适应机器转向让系统理解人类手感,把人类数据能否用于灵巧操作的定性问题变为可用 Scaling 曲线回答的定量问题 [40] 主线二:解耦运动与交互 - 核心思路是把运动和交互拆开处理:运动部分从人类视频学习,接触丰富的交互部分交给仿真和强化学习 [43] - 接触前的大范围移动更接近运动学问题,人类视频提供丰富先验;接触后的挤压、滑动和力控是动力学问题,对误差高度敏感 [43] - CraftNet 分层模型将决策分为三层:System 2 推理脑由视觉语言模型负责理解指令拆解任务,运行频率约 1 Hz [44][47] - System 1 运动脑负责运动规划和接触前粗略控制,约 10 Hz;System 0 交互脑在接触阶段利用实时触觉反馈持续调整手指,约 100 Hz [47] - 第一种接口是踏板:MoDE-VLA 用强化学习训练 IMCopilot 原子技能,操作员用外骨骼控制手臂、脚踩踏板驱动手内旋转 [45] - IMCopilot 辅助下手内操作成功率 89%,直接遥操作仅 34% [49] - MoDE-VLA 在削苹果、试管整理、齿轮装配、充电器插接四个任务上平均成功率从基线 15% 提升到 34%,削苹果成功率从 0% 提升到 30%,削皮完成度从 8% 提升到 73% [49] - 第二种接口是点云:Dex-X 从单目人类视频重建手与物体交互,在仿真中让强化学习策略跟踪参考动作,仿真被称为触觉补全引擎 [50] - Dex-X 将仿真策略蒸馏为以点云、本体感知和指尖触觉为输入的学生策略,部署到 Sharpa Wave 灵巧手,真机方块抓取任务成功率 93% [50] - 伯克利 Jitendra Malik 与 Pieter Abbeel 团队的 Do as I Do 从日常人类视频重建手-物交互并重定向为灵巧手动作,655 条野外视频重定向成功率从 25% 提升到 71%,在 Sharpa Wave 上完成搅拌、倾倒、擦除等 10 项真机任务 [51] - GALATEA 利用扩散视频模型基于首帧图像与自然语言指令生成手-物交互过程,通过双目深度锚定与接触感知优化解构 3D 手部与物体运动轨迹 [51] - GALATEA 从 2500 段生成视频中筛选约 2000 条高质量轨迹,仿真中成功落地超过 1500 段策略,蒸馏出单一控制器实现抓取、非抓取推拉、空中姿态微调等闭环泛化 [52] - 第三种接口是隐空间:TacBPM 在 8 个不同尺寸球体上分别训练手内重定向专家策略,蒸馏进以触觉为条件的隐空间控制器 [58] - TacBPM 在复杂物体多任务设置中,直接用原始动作训练的 PPO 成功率仅 1%,TacBPM 达到 70%;机械臂加灵巧手仿真抓取中部分物体成功率从不足 1% 提升到 97% [58] - SimToolReal 训练以物体为中心的仿真策略,无需针对每种工具重新训练,零样本完成 6 类工具、24 项任务,相比重定向和固定抓取方法提升 37%,入选 RSS 2026 口头报告 [63] - Play2Perfect 让灵巧手先在仿真中进行与任务无关的自由玩耍式预训练,再微调到精密装配,样本效率比从零训练高 33 倍,在 0.5 毫米间隙紧配合插入任务上取得 60% 成功率 [63] - 三种接口方向一致:把接触层从上层模型剥离,交给高频、带触觉的底层 [60] 主线三:以触觉为锚 - 核心关注数据怎么用,当前机器人策略往往与特定机器人、灵巧手甚至触觉传感器绑定,硬件一换数据要重新采、模型要重新训 [62] - 跨本体学习必要性体现在两方面:好的基座模型应学到面向操作、与本体无关的表征;下游机器人形态各异,真正泛化必须面向不同本体 [64] - 触觉最适合承载与本体无关的表征,本体可以变,触觉信号隐含的操作过程不变,触觉因此成为跨本体学习的锚点 [62] - FTP-1 由清华大学、Sharpa、上海交通大学、伯克利、苏黎世联邦理工学院、复旦大学等合作,提出跨触觉传感器的通用触觉基础策略 [62] - FTP-1 将不同形式触觉输入映射到同一隐空间,由统一 Transformer 处理,在约 3000 小时、来自 21 种触觉传感器的数据上完成预训练 [67] - FTP-1 在预训练见过的传感器配置上带来 17.2% 提升,在两种从未见过的传感器配置上成功率提升 31% [69] - 不含触觉数据的对照模型 NTP-1 表现劣于 FTP-1,说明大规模触觉预训练帮助模型学到跨本体、跨传感器可复用的表征 [69] - EgoScale 由英伟达、伯克利和马里兰大学合作,用 20854 小时第一视角人类视频预训练,再用约 50 小时人类数据和 4 小时机器人数据做中期训练 [70] - EgoScale 在 22 自由度 Sharpa Wave 上平均成功率相比无预训练基线提升 54%,选择 Sharpa Wave 因其与人手 1:1 尺寸和高自由度结构 [70] - T-Rex 由伯克利、英伟达、斯坦福等合作,基于 Sharpa Wave 构建 100 小时触觉同步遥操作数据集,覆盖 22 种运动原语和 200 多种日常物体 [71] - T-Rex 设计变频率混合 Transformer 专家结构:动作专家约 5 Hz 生成动作,触觉专家约 20 Hz 根据触觉信号实时修正 [71] - T-Rex 在削皮、擦拭、挤压、插入、取出等 12 个接触丰富任务上平均成功率 65%,比最强基线 EgoScale 高约 30 个百分点 [71] - 研究接力清晰:EgoScale 验证人类数据规模效应,T-Rex 引入触觉以 EgoScale 为基线提高约 30 个百分点,UVTA 又以 T-Rex 为对照继续推进 [72] - 触觉必要性存在争议,FELT 尝试直接从 RGB 图像生成指尖触觉信号并提升纯视觉策略表现 [72] - 张凯峰回应:轻触和用力按压在画面上几乎无区别;手指包住物体时视觉信息大量丢失,触觉往往是少数还能用的信号 [75] - 两种路线未必互斥,从视觉生成触觉可降低数据采集成本,真实触觉信号可能决定接触阶段能做到多精细 [73] - SaTA 把触觉特征锚定到手部运动学坐标系,让策略推断物体在手中的几何位置,在 USB-C 盲插、灯泡安装等亚毫米精度任务上成功率最高提升 30 个百分点 [74] - Tacmap 把仿真与真实触觉信号统一到同一种几何表示,使仅在仿真中训练的手内旋转策略零样本迁移到真实机器人 [74] 三条线在底层汇合 - 触觉和本体感知放在底层 System 0,视觉、语言乃至声音等承载高层语义的模态放在上层 System 1 和 System 2 [79] - 主线一、二解决接触数据从哪里来,主线三解决接触信息如何跨本体复用,二者都在为 System 0 提供燃料 [79] - 合并逻辑对应 Sharpa 的飞轮思路:好的硬件带来好的数据,好的数据训练出好的模型,真实世界部署再反过来为硬件、数据和模型迭代提供反馈 [79] - Sharpa Wave 设计归结为仿生:与人手同构、1:1 尺寸、22 个自由度,EgoScale、Do as I Do 都把这几点作为研究前提 [79] - 研究者还关注两点:可靠性,不能一小时就坏且维修两周;标定和一致性做得好,仿真与真机差距小,可顺畅在仿真中做强化学习再迁移到真机 [79] - IROS 2026 上 Sharpa 发布 D01 整机、W02 灵巧手和 AE01 触觉反馈数据手套,AE01 是 22 自由度外骨骼手套,指尖可提供振动触觉反馈 [82] - Sharpa 与 Dairy Queen 联合打造的机器人暴风雪餐厅于 8 月 29 日在上海吴江路开业,机器人需独立完成从点单到交付的 55 步流程,其中 98% 的步骤涉及触觉 [89] 行业判断 - 张凯峰判断单刚体的类人灵巧操作有望在未来 3 到 6 个月内取得突破,整体可能在两年左右尺度上解决 [91] - 通用大模型空间推理能力快速提升,原本被认为需要机器人数据才能解决的问题正被不使用机器人数据训练的模型逐步攻克 [91] - 上层推理和规划可能越来越多由通用模型承担,但手指与物体接触之后的那一毫米需要高频触觉反馈、与本体紧密耦合的控制和专门采集设计的数据 [91] - 过去一年越来越多团队把触觉写进模型架构,把接触交给高频底层,这条路线正从一家公司的判断变成学术界共同议题 [92] - Sharpa 与英伟达、香港大学、伯克利、清华、上海交大等合作者的十余篇论文,构成这一转向中一组相当集中的样本 [92]
NeurIPS 2026 | FlowMAS:让AI团队自己学会「排兵布阵」
机器之心· 2026-10-16 17:41
文章核心观点 - 厦门大学ASC实验室团队提出FlowMAS,已被机器学习顶会NeurIPS 2026录用,将大模型多智能体架构设计转化为可学习的生成问题,用生成流网络(GFlowNet)做发动机,配上好奇心与信息论两件武器,让AI团队搭建方式做到自动、多样、省钱 [2] - 论文标题为FlowMAS: Learning Multi-Agent Workflow Topology via Information-guided Generative Flow Network,论文链接为https://arxiv.org/abs/2609.37151 [4] - FlowMAS的意义在于把如何组织AI团队这件事,从一门手工艺术变成了可学习、可优化、可度量的科学问题 [29] - 当AI员工越来越多,或许最需要被AI化的,正是管理AI本身 [30] 研究背景与问题定义 - 大模型多智能体系统(Multi-Agent System, MAS)是当下火热方向,但组队容易排兵布阵难,同一批AI谁打头阵、谁做总结、谁听谁的、信息怎么流转,这套组织架构直接决定团队战斗力,架构搭得好1+1>2,搭得不好几个AI互相抬杠还不如一个单干 [1] - 论文研究的对象叫大模型智能体工作流拓扑(LLM agentic workflow topology),画成有向无环图(DAG)后,节点是一个个算子(operator),可理解为有具体分工的AI员工,各自带着模型、提示词、工具和内部工作模式(如思维链CoT、自我反思Reflexion、程序员Programmer),边代表信息从谁流向谁 [5] - 再复杂的组织架构都由三种基本积木拼成,包括链式(Chain)流水线,一个干完下一个接上 [5] - 论文要解决的核心问题是面对一个具体任务,如何从组合爆炸的拼法里自动生成最好的那一种 [6] 现有四大路线及其痛点 - 手工派(MetaGPT、LLM-Debate等):资深工程师凭经验手绘架构,费时费力,换个任务就得推倒重来,像老裁缝一件件手工定制西装 [13] - 搜索派(ADAS、AFlow等):在巨大设计空间里反复试错、迭代评估,效果不错但极其烧钱,每试一种架构都要真实调用大模型,token如流水,可选算子一多搜索还容易失灵 [13] - 文本梯度派(OneFlow等):让大模型当教练,看结果写评语、提修改意见,问题是评语太粗,说不清到底是哪一步的结构出了问题,也称为信用分配困难 [13] - 生成派(G-Designer、MaAS、GTD等):用生成模型直接画架构,是目前表现最强的一类,但所用VAE、扩散模型等发动机本是为生成图像、向量设计,对付不了拓扑这种离散且带复杂依赖的数据,结果生成的架构千篇一律,难以一题一策 [13] FlowMAS核心方法 - FlowMAS选择的核心生成骨架是生成流网络(Generative Flow Networks, GFlowNets),这一框架由图灵奖得主Yoshua Bengio团队提出,最早用于药物分子生成,在离散组合空间里高效探索多样的候选分子 [8] - GFlowNet思想是把整个生成过程看成一张有向无环图上的流,从一片空白开始,每加一个节点、连一条边就是流向前推进一步,训练目标是让每种最终架构被采样到的概率正比于它的奖励(任务表现、成本等综合评分),好架构多生成差架构少生成,多样性被天然保留,正好治了生成派千篇一律的病 [8] - GFlowNet直接搬到大模型多智能体系统上会水土不服,面临结构挑战(只靠最终奖励模型容易扎堆,探索不到足够多样的架构)和信息挑战(分子没有交流问题,而大模型多智能体系统的命脉恰恰是信息交换,多个AI给出的信息可能互补、可能冗余、也可能产生化学反应,直接决定协作成败)[14] - FlowMAS的关键机制创新是别等期末才打分,平时就发过程性奖励,在工作流搭建的每一步就给中间结构评估并注入中间奖励流,并为此重新推导了GFlowNet的流守恒与轨迹平衡约束,让苗子好的半成品架构早早被识别出来 [12] 过程性奖励两大模块 - 好奇心驱动模块(CDM):给没见过的新结构发奖励,借用强化学习中随机网络蒸馏(Random Network Distillation)的思想,用一个可训练的预测网络去拟合一个固定目标网络的输出,猜得越不准说明这个结构越新奇奖励越高,模型像充满好奇心的探险家专挑没人走过的路网,架构多样性就此打开 [15] - 信息引导优化模块(IOM):用信息论给协作质量打分,信息打分只在训练阶段使用,部署推理时既不需要标准答案也不需要这些奖励,完全不增加使用成本 [16] - 协同信息奖励:借部分信息分解(Partial Information Decomposition, PID)的思想,把多个上游AI对答案的信息贡献拆成独有的、冗余的、协同的三份,专门奖励1+1>2的协同部分,即单干给不出、重复不算数的增量信息 [21] - 有效信道奖励:把各路上游输出的余弦相似度组成Gram矩阵并计算谱熵,衡量信息是否均匀分布在各条通信通路上,熵太低说明信息挤在少数主干道上存在冗余占位或摸鱼分支,熵高而均匀说明每条通路都在做贡献 [21] 实验评测与性能表现 - 评测阵容为6个公开基准(数学推理GSM8K/MATH、代码生成HumanEval/MBPP、阅读理解HotpotQA/DROP)× 3种大模型底座(GPT-4o-mini、Llama-3.1-8B、Gemma-4-26B)× 15个基线方法 [18] - 在Llama-3.1-8B上,FlowMAS六项平均70.50分,超过最强自动化基线MaAS(67.73)与AFlow(67.55),GPT-4o-mini与Gemma-4-26B上同样全面第一(平均81.40 / 86.92)[22] - 综合三个底座,FlowMAS比手工设计方法平均高8.17分,比现有自动化方法平均高6.12分 [22] - 在较弱的8B小模型上优势尤为明显,说明方法不靠抱大腿,小模型也能组出强队 [22] - 具体成绩:HumanEval 69.6、GSM8K 86.2、MATH 38.8、MBPP 75.6、HotpotQA 73.6、DROP 79.2,平均70.50 [19] 成本与效率优势 - 在HumanEval上,AFlow的推理token消耗是FlowMAS的15倍以上,精度反而低4.5个点,ADAS的训练token消耗更是高达FlowMAS的220倍 [20] - 计算效率对比:FlowMAS训练token为384,278(1.0×),推理token为900,287(1.0×),而ADAS训练token为84,526,998(220.0×),推理token为97,526,460(108.3×),AFlow训练token为6,253,861(16.3×),推理token为13,690,205(15.2×)[23] - DyLAN训练token为5,842,507(15.2×),推理token为25,064,472(27.8×),AgentNet训练token为792,775(2.1×),推理token为451,047(0.5×),SELFORG训练token为853,528(2.2×),推理token为2,755,046(3.1×),MaAS训练token为223,042(0.6×),推理token为1,151,392(1.3×)[23] 消融实验验证 - 把发动机换成VAE、图扩散、Transformer或MLP,性能全面下降,拿掉好奇心模块或信息引导模块成绩同样明显下滑(HumanEval从69.6掉到62.8),换成图编辑距离、ICM、LLM-as-Judge等替代方案也补不回来,两大组件缺一不可 [24] - 不同生成backbone性能对比:FlowMAS(VAE)HumanEval 62.6、GSM8K 81.6、HotpotQA 46.1,FlowMAS(Graph Diffusion Model)55.7 / 80.8 / 50.6,FlowMAS(Transformer)58.8 / 82.5 / 53.2,FlowMAS(MLP)60.3 / 81.1 / 62.9,FlowMAS(GFlowNet, w/o CDM, w/o IOM)62.8 / 82.9 / 67.3 [25] - 模块消融:w/o CDM时HE Acc. 67.3、G8K Acc. 84.9、HQ F1. 72.0、Topo. Count 68,w/o IOM时65.0 / 84.2 / 69.3 / 60,w/o CDM & IOM时62.8 / 82.9 / 67.3 / 21,完整FlowMAS为69.6 / 86.2 / 73.6 / 81 [26] 典型案例 - 在DROP阅读理解任务上,FlowMAS自动演化出了证据抽取—分解—计算—聚合的分工结构并答对题目,而AFlow与MaAS生成的架构无法显式分解证据,双双答错 [27]
Kling 4.0杀疯了!打戏拍出电影感,原生30秒直出大片
机器之心· 2026-10-16 15:02
编辑|吴昕 老铁们,Kling 4.0 真的来了,15 日晚正式上线! Kling 一直是许多创作者拍「文戏」的首选。这一回,武 戏也相当有看头。 此前内测阶段,海外网友就已经迫不及待地整起活儿。这部《巨将》,已经有了历史战争片预告的架势。 骑兵铺满山坡,巨石轰向城楼,峡谷中箭雨倾泻。场面够大,镜头也能把攻防关系交代清楚,大军压境的压迫感扑面而来。 细到人物动作,拉弓、瞄准、放箭 ,再接敌将中箭后仰,出招与受击形成了连贯的回应。 武戏有了气势,拿手的人物微表演也没落下。歌手的神情随着歌曲情绪自然变化,细微之处也有戏,口型匹配也更到位了。 连日语台词都说得有模有样,人物的口型、动作与语音节奏都能对上。 「导演感拉满」、「已经分不清是不是 AI」、「叙事和角色一致性越来越能打」…… 海外网友的评价,已经从画质惊艳升级到了电影级创作能力。 连专业导演都来现身说法了。 近日,在釜山电影节电影市场上,《首尔之春》导演金性洙分享了 AI 新片《 Worm Train 》的创作经历。 乘客与巨大昆虫挤在同一节车厢里,身体不断发生碰撞——这个核心镜头,他此前一直不满意。直到试用内测中的 Kling 4.0,这场拥挤又惊悚的车 ...
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
机器之心· 2026-10-16 15:02
之前微调中的 GPU/CPU 协作的工作主要都在围绕搬运权重的范式来思考怎么进一步优化,希望用 GPU 计算时间更多的掩盖 PCIe 搬运。可 MoE 的稀疏计算耗时 很短,根本盖不住大规模权重的传输。 在单机有限显存的场景下,即使传输与计算完美重叠,权重搬运仍然决定了微调的吞吐上限,传统范式无论如何优化权重 的搬运方式都是徒劳。 要真正提速,就必须改变专家的执行位置,让 CPU 用留在主存中的权重直接完成专家计算,与 GPU 协同工作。 KT-FT 发现,在当前前沿 MoE 模型的微调负载下,把这些权重搬到 GPU 的耗时,甚至长于在 CPU 上直接计算。并因此提出 CPU/GPU 协同计算(Co- Computation)范式,直接利用 CPU 的计算能力,把 CPU 从一个 "存储库" 转为协同执行专家计算,GPU 则继续负责计算密集的注意力模块。然而,仅仅通过 Co- Computation 范式让 CPU 参与计算,还不足以带来足够有效的微调方案。KT-FT 提出语义感知主动布局引擎提前转换布局,并优化路由倾斜的动态线程调度。这 些设计使 KT-FT 的 Co-Computation 范式吞吐达到传 ...
算力、算法、数据之外:这家南大系公司,押注智能增长的第四要素
机器之心· 2026-10-16 11:36
文章核心观点 - AI能力提升长期依赖更大算力、更好算法、更多数据,大模型时代造就了能力超群的单体模型,但当超级个体足够多时,让模型彼此连通、互相协作,可能迸发超越任何单个个体的智能 [1] - “十五五”规划纲要明确提出“鼓励多模态、智能体、具身智能、群体智能等技术创新”,算力、算法、数据之外的第四要素或许正是模型本身 [1] - 南芥智能发布技术报告《Toward Collective Model Intelligence: Characterizing and Coordinating Models》,系统介绍围绕海量模型协作构建的技术框架与初步实验结果,为模型建立可量化能力画像,再由Mio结合任务需求与资源预算进行模型选择与协作 [1] - 模型成为新增长要素源于两个变化:模型从一次性交付的技术产品变成可积累、复用、流通的资源;单体模型继续变强的边际成本越来越高,海量模型互补与协作的增量几乎还未被开采 [5] - 一个模型的价值取决于它在集体中的角色,平均分并不亮眼的专家模型也可能补上其他模型缺少的能力 [6] - 2016年周志华院士提出“学件(Learnware)”范式,主张模型加规约、入库共享、按需复用,海量模型协作正是该范式在大模型时代的延伸,报告中正式名称为“模型群体智能(Collective Model Intelligence)” [7] - 报告关注能力层面的协同,理解并协调各方独立开发模型的互补能力,以此改善任务效果与资源效率 [7] - 系统设计支持新模型注册、能力刻画和候选池审查,并据此更新可用模型集合,模型得以自由接入、动态退出 [7] - 复用已经训练好的模型能力,有望减少部分重复训练与资源投入 [7] - 当单个模型的能力增长边际递减,组织已有模型的能力本身就是一条崭新的进步曲线 [19] 公司与产品概况 - 南芥智能(SinapisAI)是今年刚成立的南大系初创公司,为南京大学人工智能学院的技术孵化企业 [1][3] - 联合创始人孙腾中(CEO)、刘建东(CTO)等核心创始成员来自南京大学人工智能学院LAMDA实验室,多位创始成员师从周志华院士 [3] - 10月8日产品平台SinapisAI开启公测,已收录484个模型 [3] - 公司已完成由南京市创新投资集团、鼎信资本等机构参与的近亿元首轮融资 [18] - 公司不自研通用大模型、不与模型厂商竞争,这种中立性本身就是稀缺的资产 [18] - CEO孙腾中类比:“电力改变世界的关键,不仅在于造出更大的发电设施,更在于建成电网,让每一度电都能被安全、高效地送到需要它的地方,智能亦是如此。我们不生产模型,我们要做的是模型时代的电网,让每一种模型能力都被看见、被调度,送到最需要它的任务上” [19] 技术内核:看懂模型、选对模型、调得动模型 - 系统由四个技术主体构成,环环相扣 [9] - 看懂模型(Model Eval):结合查询级响应建模与跨领域预测,利用历史评测信息和有限的新增观测,构建模型能力画像 [9] - 在覆盖25个模型、18个benchmark、逾2.5万条query的查询层实验中,系统估计模型在各benchmark上的平均得分,其平均分数估计误差低于IRT、PSN-IRT等对比方法 [9] - 另一项覆盖35个模型、32个领域的实验单独评估跨领域预测,以已测领域的准确分数为锚点,预测模型在未测领域的表现 [9] - 选对模型(Mio):将模型能力证据与当前任务状态结合,先筛出满足接口、模态和预算等约束的候选,再比较预期任务表现,并在表现接近的模型中选择成本与延迟更合适的方案 [9] - 候选池维护机制是动态的,随新模型接入、能力证据与服务条件变化持续调整 [10] - 组池时评估方向性替换损失,即换掉一个模型之后,看它在具体请求上的独有优势是否有人接班 [10] - 只有留下的模型在领域覆盖、替换损失和服务兼容性上都接得住,一个模型才会被移出候选池,平均分未必突出却能补足短板的专家模型因此被保留下来 [10] - 调得动模型(Mos):相同型号的模型常有多个来源,不同服务商的端点在价格、限流、排队时延、生成速度和可用性上差异巨大且随时会发生变化 [10] - 模型服务系统Mos综合端点健康、可用容量、费用与预计延迟,为已选模型安排执行来源,并在失败类型与响应进度允许时进行有条件的重试和同模型端点切换 [10] - 配套的模型分发网络在预热共享缓存下,将模型文件读取速度最高提升23.3倍(不含缓存预热、参数传入GPU与推理环节),提高了自管理部署中的模型文件分发效率 [10] - 装下这一切(Model Space):底层的模型仓库为每个模型建立版本化身份,让484个模型可以被动态地接入、更新与退出,能力画像随版本刷新 [11] 实战检验:平均分第一,成本最低 - Mio 1.0 Lite与8个国内外顶级模型以及4个路由服务在9个公开benchmark上同场竞技 [14] - Mio九项平均分77.15/100,全场最高;平均每请求成本0.06元,全场最低 [3][14] - 对比分数最高的对手GPT 6.1 Sol,高6.35分,成本低94.0% [14] - 对比成本最低的对手Qwen 3.8 Flash,高14.00分,成本更低16.4% [14] - 在其中五个数据集上取得最高分数,与分数次高的对手相比,成本减少73.7%~97.5% [3] - 报告标注边界:在HLE等高难度任务上,不计成本的旗舰模型仍有质量优势,Mio的定位是寻求更好的质量、成本与覆盖均衡 [14] - 团队构建了RobustRouteBench鲁棒性基准,在通用文本、多模态和中文三类场景的18,982条最终测试请求上,离线评估Mio请求级选择器在固定模型池中的选择鲁棒性,并避免开发集同源请求进入最终测试 [14] 九项基准具体表现 - AutomationBench(Agent执行):53.83%,全场第一,比第二名Jev Router高4.00个百分点 [15] - BFCL V3 Base Multi-Turn(函数调用):77.50%,全场第一,比第二名Opus 5.5高11.50个百分点,成本仅为后者的2.7% [15] - GPQA Diamond(科学推理):95.96%,全场第一,比第二名Kimi K3高2.46个百分点 [15] - Humanity's Last Exam(无工具推理):53.38%,第二名,与第一名Opus 5.5相差7.97个百分点,成本低97.5% [15] - AA-OmniScience(事实知识):64.67%,第二名,与第一名GPT 6.1 Sol相差0.67个百分点,成本低85.3% [15] - PinchBench(Agent执行):96.27%,全场第一,比第二名GLM 5.3高0.23个百分点 [15] - QwenClawBench(Agent执行):69.38%,第二名,与第一名Qwen 3.8 Max相差0.43个百分点,成本低95.1% [15] - IFBench(指令遵循):92.00%,全场第一,比第二名Qwen 3.8 Max高9.20个百分点,成本低91.6% [15] - MT-Bench(多轮对话):9.138/10,第三名,与第一名GPT 6.1 Sol相差0.223分,成本低89.7% [15] 商业逻辑与行业定位 - 过去几个月,Stripe宣布同意收购AI模型网关和路由平台OpenRouter,英伟达宣布以129亿美元收购开放模型开发者社区Hugging Face [18] - 一边是模型与应用之间的路由入口,一边是最大的模型仓库,资本已经开始为连接供给与需求的“卖水人”单独定价 [18] - 这层生意拆开看是三个递进环节:仓库解决被发现,路由解决被选择,协作解决被组合 [18] - 南芥智能的布局正与此对应:模型广场提供模型发现入口,Mio承接按任务的模型选择与协作,底层系统则提供能力刻画和执行支持 [18] 未来展望 - 报告明确指出,系统集成的整体收益以及“集体智能随经验持续进化”的愿景仍待进一步验证 [19] - 按照报告设想,进化路径是递归式的,系统用集体的能力诊断自身弱点、修正自身机制、再验证改动,目标是让每一轮循环同时改善任务表现与系统的自我改进能力 [19] - 这不是终结Scaling Law的故事,而是一个更朴素的判断:当单个模型的能力增长边际递减,组织已有模型的能力本身就是一条崭新的进步曲线 [19] - 模型宇宙还在膨胀,算力、算法、数据之后,模型究竟能不能成为智能增长的第四要素,这座宇宙里最先回答这个问题的人也可能最先兑现它的红利 [20] - 南芥智能的产品平台SinapisAI现已开启公测,访问https://sinapis.ai即可体验 [20] - 技术报告全文可在https://github.com/SinapisAI/collective-model-intelligence查看 [20]
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
机器之心· 2026-10-16 11:36
文章核心观点 - 大模型大规模在线服务中,卡加得越多吞吐却涨得越慢,瓶颈不在算力而在跨组同步等待,即“谁来等谁”的问题 [1][2] - 香港科技大学周子杰团队与华为2012实验室理论部联合提出BalanceRoute,通过数学建模刻画同步等待,将短期负载预测转化为在线路由决策 [2] - 在96卡主实验中,采用实际预测器的BR-H相对最强基线,解码吞吐提升约15% [3] - 该工作已被NeurIPS 2026接收,并已部署于双方共建的MaaS推理服务系统MathBot-Pie [4] 请求数相同负载仍会不同 - 大模型生成回答分为预填充和解码两个阶段,预填充处理整段输入并保存KV缓存,解码逐个生成输出token,每步需读取此前输入和已生成内容对应的KV信息 [8] - 在预填充—解码分离系统中,两个阶段由不同计算资源承担,请求完成预填充后路由器为其选择解码工作单元,已有KV缓存随之传送,一个单元可由多张计算卡组成 [8] - 轮询等方法可依次把新请求分给各组,却没有区分每条请求需要处理多少KV信息,长上下文对应缓存更多,单步读取与计算负担可能更重,因此在同步约束下请求数相同较轻的组等待较重的组仍是常见问题 [8] - 负载还会随生成不断变化,每生成一个token请求就新增相应KV信息,下一步需处理的上下文随之变长,请求完成则退出后续解码计算,同时预填充侧还在送来新请求,某组可能连续多步变忙也可能因一条请求结束而突然减轻负担 [10] - 把运行中的请求转交给另一组需要搬运已积累的KV缓存,考虑这一开销论文采用分配后不迁移的设定,路由器必须在输出长度未知、负载不断变化时作出选择,请求随后留在该单元直到结束 [13] 数学建模把同步等待变成决策目标 - 从每一步的同步关系出发通过数学建模,把各单元与最重单元之间的负载差相加得到不均衡指标,设第k步中单元g负载为L_g(k),最重单元负载为M(k),一共有G个单元,单步不均衡可写作I(k)=Σ[M(k)-L_q(k)],M(k)=max_q L_q(k) [15] - I(k)越大说明各单元之间算力分配越不齐,该指标刻画了同步等待对应的空闲,长期目标则是减少它在连续解码步骤中的累积 [16] - 四组负载为10、7、6、5时I(k)为12,给C增加4单位负载恰好填平它与最重单元的差距,I(k)降至8,若增加5则C变成新的最重单元,让其他三组各多等一份,I(k)为11 [16] - 该例子揭示分配的关键权衡:接入新请求能填补较轻单元的空闲,但若把它推成新的最重单元就会增加其他单元的等待,接下来需要把这种比较延伸到未来多个步骤 [18] 预测多远取决于路由真正需要什么信息 - 一次分配的影响会延续到后续解码,两组此刻一样忙,其中一组若有请求即将结束就可能很快释放负载,BalanceRoute的BR-H因此引入H步窗口估计各组近期的负载变化 [20] - 窗口并非越长越好,H太短可能看不到即将结束的请求,H太长即使现有请求的长度预测准确,尚未到达的新请求及后续分配也会改变负载,让更远处的状态难以确定 [20] - 预测目标具体化:对运行中的请求先估计它在窗口内结束的概率,再估计若在窗口内结束还需多少步,二者共同给出它在窗口内预计还会运行多久,若请求持续超过窗口就不必精确区分它在更远处还会生成多少内容 [20] - BR-H先估计各单元未来H步的负载,再比较接入候选请求后每一步能填补多少空闲又会带来多少额外等待,将收益与代价汇成评分并降低较远步骤的权重,为控制决策开销路由器结合可用槽位和预计余量挑选单元,再按评分选择请求或请求组合逐步完成分配 [22] - 每次接入后更新预计负载,下一轮再依据最新运行状态重新判断,预测、评分和分配由此形成持续更新的过程 [23] 从模型到真实系统中的毫秒级路由 - 团队在vLLM-Ascend之上实现了有状态代理,统一维护各工作单元的负载、空闲槽位和生成进度,预填充完成的请求先进入等待池让BR-H能结合全局状态比较候选请求的分配,解码端的流式反馈则持续更新生成进度 [25] - 这套设计通过现有接口接入无需修改推理引擎核心,系统复用预测、增量更新负载并将组合选择限制在小规模候选集合内以控制每轮调度开销 [25] - 主实验使用96张昇腾910C NPU运行DeepSeek-V3 671B(W8A8),其中包含8个解码工作单元,单轮调度耗时的中位数为1.20毫秒,99%分位为2.77毫秒,低于约60毫秒的单步解码时间预算 [28] - 在接近饱和的高负载条件下,团队回放企业生产请求记录和公开Azure-2024请求记录,与轮询、最短队列等四种常用路由策略比较,采用实际预测器的BR-H相对各数据集上吞吐最高的基线,解码吞吐分别提升15.4%和14.5%,输出token间隔的尾部延迟也同时降低,这些收益来自相同模型与NPU配置下的请求分配改进 [28] - BalanceRoute已部署于双方共建的MaaS推理服务系统MathBot-Pie,MathBot-Pie以cache感知调度为基础框架,通过Agent实现快速自动适配以及高性能算子和模型的自动构建与优化,综合推理框架、模型计算与底层算子的联合优化,致力于实现低时延与高性价比,而BalanceRoute正是其降低跨组同步等待、提升在线解码吞吐的关键所在 [30] 把运筹学写进推理系统 - 在请求不断到达、KV缓存随生成增长、请求结束又释放负载的过程中,跨组同步让这些变化相互牵连,很难直接判断一次分配对整体效率的影响,团队通过建模理清这些关系,提炼出反映同步等待的负载不均衡指标I(k),把路由问题转化为一个有明确目标的优化问题 [32] - 沿着这个目标团队进一步分析负载随时间的变化并把预测重点放在近期哪些请求会结束上,形成短期预测与路由策略,并在真实系统中验证了收益 [33] - 这是香港科技大学周子杰团队探索OR for LLM serving(面向大模型服务的运筹学研究)的出发点:通过建模理解复杂系统并明确该优化什么以及需要哪些信息,再让这些认识指导实际决策 [33]
Agent推理快10倍是怎么做到的?苹果×CMU:把「生成」改成「做选择题」
机器之心· 2026-10-16 11:36
文章核心观点 - 苹果与卡内基梅隆大学研究团队提出SSR框架,将智能体推理从逐token生成改为从预定义推理选项中做选择题 [1][3] - 该方法在7个多模态搜索benchmark上将每轮推理延迟降低超过90%,同时保持与free-form thinking相当的任务成功率 [1][15] - SSR将推理空间从完全开放的语言空间转化为紧凑、可复用、语义明确的策略空间 [14] 动机:小模型推理的性价比问题 - 多数搜索Agent遵循ReAct交互范式:观察→推理→动作循环往复 [4] - 2B、4B端侧小模型有时生成相当长的推理内容,但对生成下一步动作和最终决策未必有帮助 [4] - 研究团队分析大量搜索轨迹发现,尽管实体、查询和观察结果千差万别,但决定下一步动作的高层推理逻辑反复出现 [4] - 搜索Agent的推理空间不必覆盖整个自然语言空间,可预定义一组可复用推理选项让模型做选择题 [5] 方法:Selection-Based Structured Reasoning - SSR核心是包含6条推理选项的推理库:以图搜图识别实体、文本搜索查询事实、裁剪或放大图像局部、基于证据作答、直接读图作答、常识直接回答 [8] - 每轮交互时Agent从推理库中选择一条作为当前轮推理,再基于选中推理生成具体动作 [8] - 设计将可复用推理选项与实例相关执行细节解耦:选项提供"为什么这么做",动作生成负责"具体怎么做" [8] - 直接让LLM本身充当分类器,计算每个推理选项基于当前context的概率平均值,经softmax得到类别分布后采样完成选择 [9] - 选择过程不需要额外任务头,不需要SFT warm start,打分与动作生成共享同一套模型参数和system prompt [9] - Parallel Reasoning Decoding通过teacher forcing一次性prefill整条选项,所有token似然在一个batched forward pass中算完 [10] - 所有推理选项共享同一份上下文KV cache同时打分,整个推理过程模型不需要自回归生成任何新token [10] - 4B模型生成156个token冗长思考耗时1821.92毫秒却误判建筑,SSR仅用32.66毫秒精准选择"通过图像识别实体"推理选项 [10] - SSR可接入现有SFT、RL训练管线,且可直接用RL训练不需要SFT warm start [11] 实验:精度基本持平,推理快10倍 - 在Qwen3-VL 2B/4B模型、H100 + SGLang推理引擎上,于MMSearch、HR-MMSearch、FVQA-test、InfoSeek、SimpleVQA、LiveVQA、MAT-Search共7个多模态搜索benchmark上评估 [13] - 4B SSR(GRPO)平均成功率61.37%,与同规模SOTA持平;2B SSR达51.26%,堪比零样本8B模型 [15] - 在GRPO、GSPO、SAPO、SFT四种训练方法下,SSR与free-form thinking版本成功率相当 [15] - 每轮推理延迟降低超90%,每题模型总推理延迟降低28–54% [15] - 与Chain-of-Draft、Sketch-of-Thought、效率奖励RL、Probe & Prefill等baseline相比,SSR成功率最高,p95推理延迟仅0.07秒(baseline为0.8–1.9秒)且更加稳定 [15] - 若只让模型选择编号而非完整文本,平均成功率下降3.9%,且7个benchmark全面受损 [15] - 推理库选项从1条通用选项增加到6条,平均成功率从37.24%单调提升至61.37% [15] - 从1条增加到2条(区分"作答"与"调用工具")即带来17.27个百分点跃升 [15] - 同一个checkpoint在不同benchmark上呈现不同选择分布:SimpleVQA上"基于图片作答"占比最高,HR-MMSearch上"检查图片细节"占比最高 [15] - 自回归方式训练模型逐字生成推理库选项必须依赖SFT先教会遵守格式,仅靠prompt加格式奖励的RL无法约束模型不"乱想",SSR从机制上保证推理结果必须来自预定义推理库 [15] 总结:重新定义推理空间 - 对于开放式数学推理、定理证明或代码设计,free-form thinking带来的表达能力至关重要 [14] - 在多轮搜索与工具使用场景中,Agent每步面临的往往只是少数几类高层决策:当前信息是否足够、是否需要识别图中实体、是否继续搜索、是否需要放大局部区域 [14] - 高度依赖具体输入的部分如search query、tool arguments、crop坐标与最终答案仍由模型自由生成 [14] - 策略层面的推理未必需要每次在完整语言空间中重新生成 [14] - 模型并没有停止思考,只是将一部分靠逐token生成的推理换成了在结构化推理空间中的选择与推断 [14]
Meta杀回开源:816B新模型,两台Mac Studio就能跑
机器之心· 2026-10-16 07:58
文章核心观点 - Meta 发布 Muse Spark Open 开源权重大模型,与苹果合作并针对 Mac 设备优化,但该模型并非全球最强开放权重模型,编程与推理能力落后于 Kimi K3、GLM 5.3 等竞品 [1][7] - 未来开源模型的价值不能只看基础模型排行榜,还要看其能否进入真正的 Agent 工作流 [9] 模型发布与合作伙伴 - Meta 发布 Muse Spark Open,号称最强美国开源权重大模型,为原生多模态模型,参数量 816B,激活参数 42B,上下文 1M,专为代码和智能体任务设计,擅长长期任务与复杂多步骤推理 [1] - Meta 希望未来每个人都有能在家中运行高级模型的自由,开源版 Muse Spark 专门对 Mac 设备优化,扎克伯格与苹果新 CEO 约翰・特努斯进行了合作 [1] - Muse Spark Open 类似于 Muse Spark 1.3,利用苹果最新版本 MLX 框架针对苹果芯片统一内存架构优化,两台 Apple M5 Ultra Mac Studio(512G)本地即可运行 [2] - 苹果统一内存架构让 M5 Ultra 集成 GPU 能为每台 Mac Studio 使用高达 512GB 内存,两台机器可容纳完整大模型,该芯片 1.2TB/s 内存带宽足以读取每个 token 所需的小块内存,两台 Mac Studio 运行速度堪比一台拥有 1TB 统一内存的超级计算机 [4] - 两台 512G 的 Mac Studio 价格已超过 4 万美元 [5] - 考虑到苹果和 Meta AI 过往的冷淡关系,此次合作令人惊讶,Meta AI 首席执行官 Alexandr Wang 表示很高兴看到父母再次和好如初,并解释苹果和 Meta AI 已合作数月,还特别感谢苹果前高管 Daniel Gross 在促成两家公司友好合作方面发挥了作用 [5] 开发者生态与适配 - Meta 帮开发者做好 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 和 Unsloth 等主流推理引擎的适配,并针对 AMD、苹果、英特尔和英伟达芯片进行优化,开发者可使用 PyTorch 框架轻松进一步定制模型 [5] 关键基准参数 - JobBench 指标:Muse Spark Open 为 61.8,Inkling 为 31.1,Nemotron 3 Ultra 为 27.2,Qwen3.8-2.4T-A95B 为 52.7,GLM 5.3 为 61.4,Kimi K3 为 54.3 [7] - MCP-Atlas 指标:Muse Spark Open 为 89.2,Inkling 为 76.0,Nemotron 3 Ultra 为 63.1,Beam 为 78.7,Qwen3.8-2.4T-A95B 为 84.5,GLM 5.3 为 84.2,Kimi K3 为 82.3 [7] - GDPval-AA v2 指标:Muse Spark Open 为 1401,Inkling 为 1079,Nemotron 3 Ultra 为 1016,Mistral Large 4 为 1424,Qwen3.8-2.4T-A95B 为 1613,GLM 5.3 为 1653,Kimi K3 为 1537 [7] - HLE-Diamond(无工具)指标:Muse Spark Open 为 26.1,Inkling 为 11.2,Nemotron 3 Ultra 为 8.9,Qwen3.8-2.4T-A95B 为 17.3,GLM 5.3 为 16.4,Kimi K3 为 22.2 [7] - SciCode 指标:Muse Spark Open 为 58.5,Inkling 为 47.0,Nemotron 3 Ultra 为 40.3,Beam 为 49.7,Mistral Large 4 为 54.2,Qwen3.8-2.4T-A95B 为 54.1,GLM 5.3 为 59.0,Kimi K3 为 59.5 [7] - AA-Omniscience 指标:Muse Spark Open 为 25,Inkling 为 2,Nemotron 3 Ultra 为 0,Mistral Large 4 为 -5,Qwen3.8-2.4T-A95B 为 4,GLM 5.3 为 14,Kimi K3 为 20 [7] - Terminal-Bench 2.1 Terminus 2 agent 指标:Muse Spark Open 为 76.4,Inkling 为 55.1,Nemotron 3 Ultra 为 53.9,Beam 为 80.1,Qwen3.8-2.4T-A95B 为 82.0,GLM 5.3 为 83.9,Kimi K3 为 85.0 [7] - DeepSWE 1.1 指标:Muse Spark Open 为 60,Beam 为 44,Mistral Large 4 为 62,Qwen3.8-2.4T-A95B 为 57,GLM 5.3 为 67 [7] - ZeroBench 指标:Muse Spark Open 为 50.0,Inkling 为 14.0,Kimi K3 为 41.0,Nemotron 3 Ultra、Beam、Qwen3.8-2.4T-A95B、GLM 5.3 均不支持 [7] - BabyVision 指标:Muse Spark Open 为 80.2,Inkling 为 34.2,Kimi K3 为 85.7,Nemotron 3 Ultra、Beam、Qwen3.8-2.4T-A95B、GLM 5.3 均不支持 [7] - SimpleVQA 指标:Muse Spark Open 为 73.6,Inkling 为 52.3,Kimi K3 为 71.9,Nemotron 3 Ultra、Beam、Qwen3.8-2.4T-A95B、GLM 5.3 均不支持 [7] 竞争格局与行业判断 - 重走开源路线的 Meta 眼前的路还很长,Muse Spark Open 并不是全球最强的开放权重模型,其编程、推理等能力不如 Kimi K3、MiMo-V2.6-Pro、Qwen3.8 Flash Next 和 GLM 5.3 Flash 等模型 [7] - 在 Agent 评测能力方面,从官方模型卡可以看到,Muse Spark Open 在部分 Agent 指标上甚至领先于综合智能分数更高的模型 [8] - Meta 给出的成绩对比中,模型来自不同的 Harness,部分成绩来自模型厂商自报,看起来比较透明,例如 Muse Spark Open 使用 Muse Code,Kimi K3 使用 Kimi Code,Qwen3.8 使用 Claude Code [8] - Agent 的实际能力取决于模型、Harness、工具、上下文管理和执行环境的共同作用 [8]
神经网络可解释性被AI解决了?90%神经元只有一个功能
机器之心· 2026-10-16 07:58
文章核心观点 - OpenAI可解释团队创建人Nick Cammarata发表超长文章,认为利用现代智能体工具,万亿参数大模型几乎可读,神经网络黑箱看法被证明是误解,预期障碍大多不存在,可解释性将被解决且可能很快实现 [1] - 这可能是可解释性的苦涩教训:简单的事情在荒谬规模下就能奏效 [2] - 神经网络并非纠缠的结,多义性是错误的,可以直接研究神经元而无需先用第二个模型展开,Qwen-32B中90%的神经元只有一个任务 [5] - 这项工作最终可能让行业能够有意设计大型语言模型并塑造其行为方式 [6] - 亲手打下superposition假说地基的人站出来说:是我们看走眼了,神经网络本来就是干净的 [9] 猫和汽车案例的重新解读 - 机制可解释性试图追踪神经元和计算回路解释模型如何得到答案,困难之一是一个神经元经常对看似毫无关系的东西产生响应,经典案例来自视觉模型InceptionV1,同一个神经元既识别猫脸又识别汽车前脸 [11] - 过去的重要解释是叠加:模型空间有限,于是把互不相关又不容易同时出现的概念压进同一组神经元,研究者因此尝试用稀疏自编码器SAE等工具把这些表征重新拆成可理解的特征 [11] - Nick如今认为这个著名案例看错了,重新检查图片和连接关系后发现猫脸和汽车前脸共享一个特征:V形,这个神经元还与V形火焰、狐狸脸等相关,而圆形会把它推向负向响应 [12] - 猫和汽车是人类给出的分类,网络找到的可能是跨越这些类别的形状规律 [12] - 神经元未必像名词负责给物体贴标签,也可能像动词负责区分模式,把信息送往不同的下游回路 [13] - 我们眼中的混乱有时只是模型使用了我们没想到的分类 [14] 多义性的真相 - 另一些神经元确实有多种用途,但作者认为这也未必源于无关概念的随意混装 [16] - Nick提出递归泛化:神经元从一个模式出发逐渐长出相关分支,分支又继续生长,一个识别iy的神经元可以扩展到diy,再扩展到完全不含iy的do it yourself,一个地质神经元会分枝到名为Cesium的地理JavaScript库 [16] - 这不是在高维空间里藏匿信息,而是在语义相邻的领地上生长,superposition是最激进也最难证伪的解释,理应成为最后假设,而作者自己曾当了它多年的信徒 [16] - 只看训练结束后的响应这几项可能显得关系松散,沿着训练过程追踪却能看见它们如何连接起来 [17] - 工具也会制造误解,团队发现一个被自动解释工具标为多义逗号神经元的单元实际与科罗拉多州有关,它响应当地电话区号、俚语等信息,增强它还会让模型倾向于规划徒步旅行,逗号只是模型汇总前文语境的位置,盯着响应发生的字符反而会错过真正的含义 [17] 神经元可解释性的量化数据 - 2023年OpenAI的自动可解释性项目用最宽松的标准也只找到约1.7%可解释神经元 [18] - 如今在对Qwen3-32B的初步审查中作者估计,约90%的神经元正、负极各自有一项主要工作,约7%有两项相关工作,约2%—4%尚未理解,这个数字取决于激活阈值以及如何界定一项工作 [18] - 稠密模型和MoE模型结论相近,作者在Kimi K3上得到的是同样的结果,他们在Kimi K3上做出了已知首个万亿参数模型的归因图,捡到钱包的问题里钱包、现金、证件连通失物招领与诚实,最后输出归还 [18] - 用新工具重审当年的GPT-2 XL,约70%的神经元也已大致是一回事 [18] 让AI科学家研究AI内部 - 这项工作的另一条主线是智能体改变了研究规模 [20] - AI可以检查神经元样本、提出解释、追踪上下游连接,再设计实验寻找反例,研究者还让智能体检查了十万张归因图,作者本人也检查了数千张 [21] - 怎样避免AI编出一个听起来合理的故事,一种测试是第一个智能体研究神经元并写下解释,第二个只看解释生成一个预计能强烈激活它的新样本再交给网络测量,作者报告有些样本的激活强度超过了他们从百亿token语料中找到的所有例子 [22] - 团队也生成看起来接近实际不该触发的反例,并通过移除神经元、增强激活等干预检查解释能否预测模型行为 [22] - 解释由此变成可以被实验推翻的假说 [23] - Cammarata还提出一个反直觉的见解:理解更多网络有时会让剩下的部分更容易理解,像填字游戏一样相邻答案越多一个空格能填什么就越受约束,较大模型的神经元也可能分工更细反而更容易辨认 [23] - 这让他想到可解释性领域自己的苦涩的教训:简单的观察、假设与检验在足够大规模上也许比不断设计精巧的拆解方法更有效 [24] - 这仍不是可解释性已经解决的宣言,注意力机制、完整模型审计以及如何把理解转化为可靠的安全改进都有大量工作待做,但它提供了一个值得认真检验的方向:如果神经网络内部已有可追踪的组织,未来的突破可能来自一座由AI科学家参与运转的实验室,持续观察模型、提出问题并逐个验证答案 [24]