Workflow
多模态数据采集
icon
搜索文档
Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据
机器之心· 2026-11-10 23:43
文章核心观点 - Anthropic发布新模型Claude Fable 5.2,除编程与推理升级外,开始展示玩魔方、拧瓶盖、操控机器人画画等机器人操作能力,继OpenAI Astra之后通用基础模型厂商进一步进入具身智能领域 [1][2] - 通用基础模型在机器人任务上的高光表现未必是智能凭空涌现,更可能是专门机器人数据在背后托底,物理经验难以单纯从常规数据中涌现 [4][5] - 随着模型能力提升,具身智能能走多远越来越取决于背后数据基础设施的支撑,尤其是涉及真实物理接触的触觉数据成为精细操作学习的关键 [6][7] - 简智选择站在产业链更上游建设数据基础设施,围绕第一视角视觉、腕部近场视觉、手部运动与触觉构建多层次的Human Data采集体系 [8][10] - 行业核心判断是真正难以被替代的是真实场景中的操作经验与精细到受力与形变的物理交互数据,数据基础设施仍是具身智能发展的关键 [90][91] 行业背景与竞争格局 - OpenAI的Astra已在机器人操作任务上展示能力,Anthropic随后跟进,通用基础模型开始进入原本由具身智能公司专用模型主导的领域 [2][3] - 针对Astra的研究表明OpenAI训练中可能使用了专门机器人数据,GPT-6.1 Sol和Gemini Argon也接受了类似训练,通用模型厂商正通过数据补足真实世界理解 [4][5] - 硅谷大厂纷纷进入具身智能领域,机器人不再满足于特定场景单一任务,还需掌握更复杂更精细的操作,对数据采集的丰富度与准确性提出新要求 [23][24] - 过去机器人公司可依靠专门训练模型建立操作任务优势,但基础模型厂商进入物理世界后这类优势越来越难维持 [89][90] - 行业热点持续变化,但机器人学习真实世界所需的数据基础设施仍是具身智能发展的关键环节 [91][92] 数据采集的行业痛点与技术路线 - 仅靠第一视角摄像头难以避免手部与物体相互遮挡,增加近距离相机可补充接触位置与多指协同细节但仍无法直接测量真实接触力,数据手套精度更高但设备与采集成本更复杂 [25][26] - 传统数据手套往往在手背指尖布置传感器或机械结构,容易影响打字、贴面拾取和掌内旋转等精细操作,依赖柔性传感器或视觉关键点的方案需间接推算关节角度且易受遮挡影响 [42] - 简智的答案是让不同模态协同工作而非选择单一技术路线,围绕不同层次数据需求构建三种采集方案并形成数据协同 [27][28][31] - 第一视角视觉记录环境与人体运动,腕部相机补充被遮挡的手部操作细节,外骨骼与触觉传感器直接测量关节运动和物理接触,共同构成完整多模态Human Data [11][12] - 近距离视觉与高精度触觉准确对应时,可建立图像、关节运动与接触状态之间的联系,为模型学习精细操作提供更完整监督信息 [13] 简智产品:Dex 2.0 数据手套 - Dex 2.0同时解决手部运动测量与触觉记录难题,采用约60g侧置外骨骼和约3mm微型仿生关节,机械结构布置在手指侧面以减少动作干扰并直接记录关节运动 [17][47] - 采用侧置仿生外骨骼将主要结构移至手指侧面,机械关节更贴近人手自然运动轴,释放指背指腹和掌面等关键操作区域,微型磁编码器集成于仿生关节内部直接读取局部关节转角 [45] - 21个独立关节编码器支持21 DoF测量,关节角度分辨率达0.2°,指尖空间位置精度约1mm [48] - 配合全掌覆盖半柔性压阻式电子皮肤同步获取接触压力信息,相比磁场测量间接重建姿态的方案,直接关节测量有助于降低外部磁场及金属环境对姿态估计的影响 [17] - 自研基于石墨烯喷涂的触觉传感方案,通过半柔性材料和多层结构设计改善形变响应与信号稳定性,应对材料拉伸褶皱滑移产生的误信号与传感单元串扰 [51] - 通过16块触觉传感器和980个感知单元覆盖手部接触区域,空间分辨率达1mm,串扰水平低于1% FS,减少非接触区域异常响应以提高接触分布数据可信度 [52][54] - Dex 2.0还支持灵巧手遥操作,人手运动状态可转换为机器人关节控制输入并针对不同灵巧手自由度关节布局运动范围和控制接口进行适配,同时记录机器人执行状态与任务结果 [71][73] 简智产品:DAS Ego 2.0 头戴设备 - DAS Ego 2.0升级集中在更准确追踪指尖细节与更完整记录全身运动两个方向 [18] - 六摄像头系统将水平视野从270°扩展至340°,减少转身弯腰侧身等动作造成的信息缺失 [19][60] - 核心摄像头从200万像素升级至500万像素,指尖追踪精度提升至4mm,有助于减少抓取接近接触等动作的判断误差 [19][60] - 设备集成200Hz IMU和麦克风同步记录惯性信息与环境音频,并优化弱光光线切换和强光眩光下的成像表现 [63] - 规模化采集方面优化佩戴结构头姿检测头发遮挡检测和批量数据后处理能力,磁吸电池支持不关机更换,单电池包续航约2.5—3小时,支持MCAP标准数据格式 [63] 多模态数据协同与同步方案 - 简智构建三种采集方案:Ego单独采集记录环境人体运动及人与物体关系;Ego加Wrist Camera补充手指与物体接触分离及多指配合细节;Ego加Dex记录原生关节运动和全掌触觉获得高精度多模态数据 [35] - Ego加Dex采集的高精度运动与触觉数据可作为Ground Truth为视觉模型提供更直接物理交互监督,让模型在仅输入视觉数据时推断难以直接观察的触觉信息 [32][33] - 触觉不仅补上视觉缺失的物理信息,还可能反过来教会视觉理解接触,实现从模态叠加到协同学习 [34][22] - 为实现协同,简智对相机模组及通信控制进行内部重构,通过无线硬件同步实现标称1ms级的头手时间对齐,避免视觉关节运动与触觉信息错位 [34] - Ego、Dex与Wrist Camera协同工作并结合DFM对全身运动数据的处理,将环境视觉局部操作关节运动与触觉信息在统一数据体系中对齐 [20] - 数据不再只是相互独立的视频或传感器读数,而是有机会完整描述一次操作从观察接触到动作调整的物理交互过程 [21] Training-ready 数据标准 - 简智提出Training-ready数据标准,强调真实自然、操作闭环完整、精度达标以及足够多样性 [68] - 真实自然要求采集设备不过度干扰人的操作,记录真实场景中的自然动作而非为适应设备刻意表演的动作 [69] - 操作闭环完整要求数据覆盖从任务开始到最终结果的全过程并能清楚区分相似物体和相似动作,触觉信息可进一步帮助确认接触状态与操作结果 [69] - 精度达标要求手部位置关节角度等空间信息之外,速度加速度等相对变化也保持稳定,避免测量波动干扰模型学习 [70] - 多样性充足要求覆盖不同场景物体和动作,并包含操作失败及失败后的调整过程,让模型接触真实操作中的变化与不确定性 [70] 公司定位与生态建设 - 简智从创业初期即选择从Human Data入手,逐步发展为面向物理AI模型的数据与评测基础设施公司 [80] - 相比直接参与具身模型竞争,数据基础设施建设更基础也更需要耐心,涉及设备研发、人体运动测量、多模态同步、数据标准化以及机器人适配等一系列问题 [80] - 触觉传感器并非简单装到手上即可使用,需兼顾准确记录接触与压力、减少对自然动作干扰、长期使用稳定性,简智持续投入触觉材料与电子皮肤自主研发,相关材料方案经历约九个月迭代 [81] - 简智在相机模组和多模态同步系统上坚持掌握关键技术迭代能力,让产品随真实数据需求不断调整 [82] - 简智一直坚持开源,认为高质量开放数据可让更多团队减少重复投入,将资源用于模型训练算法验证和新技术探索 [83][86] - 在机器人学术顶会CoRL上,简智展示的Dex 2.0与Wrist Camera组合方案引起不少兴趣,业界围绕数据采集方式展开讨论 [87] - 无本体模式记录人在真实场景中的自然操作,遥操作模式将人手运动转换为机器人关节控制输入,两种模式结合让"人会做"转化为"机器人能做" [73][74] - 搭配Ego头环可一并记录操作时的环境信息,让模型不仅学习手指如何运动,也理解动作发生的场景与任务目标 [75]