Workflow
具身预训练
icon
搜索文档
百万小时数据喂下去,机器人就能学会一切?这场塔尖会拆解「具身数据战」
机器之心· 2026-11-06 10:38
文章核心观点 - 具身智能下一场数据战的核心在于如何选择和组合不同来源的训练数据、验证能力收益并以合理成本持续获取有效数据,而非单纯追求数据规模 [1] - 同一笔数据预算在具身预训练阶段面临“规模化人类经验”与“积累真机交互”的路线取舍,不同选择影响模型能力获取与后续部署 [3] - 数据投入需围绕明确的能力目标展开,并通过持续评测检验其价值,数据规模应拆解为与任务、模型和部署条件相关的具体问题 [18] 双人技术交锋:具身预训练的数据投入方向 - 黄用韬认为现阶段应优先积累真机数据,机器人需通过与物理世界直接交互建立可靠操作能力;大规模人类视频数据可支持任务理解与高层规划,但在动作轨迹、力度控制及接触反馈方面精度不足 [3] - 黄用韬强调触觉应尽早融入基础能力学习而非仅作为后训练补充,值得关注无本体采集、电子皮肤等低成本触觉数据获取方式;研发实践应先通过真机数据建立对任务和失败原因的基本认识再逐步扩大数据规模 [4] - 黄用韬提出预训练效果验证不能只看已有任务成功率,还应考察模型面对新任务的学习速度、适配所需数据量及跨场景泛化能力,并通过多任务评测识别真实收益 [4] - 刘淼强调具身数据选择不存在统一答案,关键取决于机器人应用定位与训练阶段;工业场景精密抓取、装配高度依赖真机数据,面向开放环境的通用具身智能则需充分利用人类经验数据的规模化优势 [4] - 刘淼认为预训练更重视数据覆盖范围,后训练通过更高质量数据提升特定任务表现;人类动作与机器人本体存在结构和控制差异,精确还原人类操作不意味着可直接迁移至机器人,人类数据潜在价值还包括主动感知、任务规划、手眼协调及长程行为衔接 [4] - 刘淼对触觉数据认为应综合考虑采集成本、数据质量与覆盖范围,少量特定构型数据能否有效提升预训练能力仍有待验证;当前具身预训练缺乏可靠独立评测手段,真实贡献容易被后训练效果掩盖 [5] 技术Open Mic:多模态采集与物理交互数据 - 马道林强调触觉包含受力、几何、滑动与运动等多种信息,是机器人完成精细操作的重要依据;需通过高质量高一致性传感器采集数据、建立规模化采集标准规范,并推动模型训练与验证,搭建高质量机器人交互能力训练体系 [8] - 马道林团队深度布局人机解耦采集方式,从人类操作中获取触觉经验生产高质量真实世界数据,同时通过自研触觉仿真器以较低成本生产大规模高质量仿真数据并提供评测试验场;展示融合视觉、触觉、语言、动作的VTLA模型在自动穿鞋带、纸盒成型等真机任务中的表现 [8] 技术Open Mic:数据配方与评测 - 李永露指出数据配方应从机器人需要完成的任务出发,结合模型结构、训练目标与评测方式共同确定;新增数据是否有效需通过模型训练和下游任务评测检验,再将结果反馈到下一轮采集与筛选 [9] - 李永露强调随着数据规模扩大,投入不仅发生在采集端还包括后续处理、训练与存储,更需要持续检验数据训练收益;硬件、模型与数据基础设施应协同设计同步迭代,让数据采集与模型训练形成持续反馈闭环,统筹整体成本的同时提高数据投入有效性 [9] 技术Open Mic:具身数据Scaling与持续学习 - 李明磊提出以高保真经验支撑预训练,再通过持续学习拓展能力边界;团队围绕经验、表征、评测与反馈,通过HiFi-UMI探索降低策略冷启动对真机示范的依赖,结合三维监督、物理评测与纠错反馈推动策略迭代 [11] - 李明磊团队探索GPT-Astra等大模型与具身策略协同,让真实部署既成为能力检验场也成为能力增长来源,推动机器人在与物理世界持续交互中学习和进化 [11] 产业碰撞场:数据多样性、多模态与规模化 - 陈天行提到判断数据价值既要关注分布与质量,也要结合模型架构和预训练能力;新增数据能否带来泛化收益需通过长程任务、复杂交互与场景变化评测,结合横向比较和消融实验验证;对触觉而言任务设计应让接触信息真正参与决策才能检验实际贡献 [15] - 周航强调全身触觉对大脑开展物理世界认知训练具有重要支撑作用,对小脑模型闭环控制也有深远助益;数据需保持稳定准确并做好时序同步与运动干扰过滤;规模化降本可从量产、减少重复定制及AI辅助清洗入手,期待行业形成统一数据标准 [15] - 赵世豪指出不同训练阶段对数据数量、质量与精度要求各不相同;要让模型有效利用触觉需先解决不同硬件的数据表征对齐再探索融合方式,团队实验中过早融合视触觉表征可能降低性能;数据生产端应重视采集人员选拔与操作能力,从源头提高数据质量和投入效率 [16] 行业协作与生态 - 本期沙龙将数据规模拆解为与任务、模型和部署条件相关的具体问题,不同路线交流凸显数据投入需围绕明确能力目标展开并通过持续评测检验价值 [18] - 围绕数据生产、模型评测与实际应用的协作有望让讨论延伸为新的研究与实践,推动数据积累转化为可在真实任务中验证的机器人能力 [18]