机器人训练数据
搜索文档
远超基线模型!X-Humanoid:推动机器人从 “真实数据” 向 “虚拟合成 + 互联网数据” 转型
具身智能之心· 2025-12-08 09:11
文章核心观点 - 新加坡国立大学Show Lab提出的X-Humanoid框架,通过“数据合成-模型适配-大规模生成”的技术闭环,首次实现了将第三人称人类视频高质量转化为类人机器人视频,为解决具身智能领域大规模、多样化机器人训练数据稀缺的核心瓶颈提供了全新的数据生成范式 [1][7][21] 问题根源:机器人数据稀缺的三大核心矛盾 - **数据规模与采集成本的矛盾**:真实机器人数据采集硬件昂贵、人力耗费大,导致数据规模有限且场景单一,而互联网上存量巨大的人类视频(如Ego-Exo4D数据集含数千小时视频)因人类与机器人视觉形态差异无法直接使用,形成“数据富矿”与“可用数据短缺”的鲜明对比 [4] - **编辑能力与场景复杂度的矛盾**:现有针对第一视角视频的“机器人化”方案(如规则化叠加机器人手臂)在涉及全身复杂动作、动态背景交互与严重遮挡的第三人称视频中完全失效,生成结果常出现肢体变形、动作错位等问题 [5] - **模型适配与任务需求的矛盾**:现有视频编辑模型缺乏针对“人类-机器人转化”的专项优化,导致生成的机器人视频无法保证动作与原始视频严格对齐或会篡改背景信息,难以满足VLA模型与世界模型的训练要求 [6] 方案设计:X-Humanoid的三层技术闭环 - **第一层:数据合成**:利用Unreal Engine设计可扩展的数据生成流水线,构建大规模人类-机器人配对训练数据集,最终生成17小时以上的1080p 30fps配对视频,含280万帧数据,在单张NVIDIA RTX 3060 GPU上仅需10天完成渲染 [7][9] - **第二层:模型适配**:对Wan 2.2扩散Transformer模型进行专项适配,改造为视频到视频架构,通过骨骼对齐、动作迁移、在14个多样化虚拟场景中录制视频(融入遮挡等挑战)以及创新的tokens处理机制,确保动作精准对齐且背景完整保留,仅使用6.4%的合成数据即可完成LoRA微调 [7][10] - **第三层:大规模转化**:将微调后的模型应用于真实世界视频,例如将Ego-Exo4D数据集的60小时视频处理后,批量生成360万帧机器人视频,形成大规模机器人化数据集,可直接用于VLA模型与世界模型训练,并能成功处理含运动模糊、镜头切换等复杂效果的互联网视频 [7][12][14] 验证逻辑:从定量到定性的全面性能验证 - **整体定量性能**:在合成数据集上,X-Humanoid的PSNR达21.836 dB(基线最高为17.683 dB),SSIM达0.671(基线最高为0.402),MSE低至459.302(基线最低为1295.640),全面碾压Kling、MoCha、Runway Aleph等基线模型 [12] - **用户研究结果**:在29名计算机视觉/机器人领域参与者的研究中,69.0%的用户认为X-Humanoid的运动一致性最佳,75.9%认可其背景一致性,62.1%肯定其机器人形态准确性,62.1%偏好其整体视频质量 [12] - **定性对比优势**:X-Humanoid能完全复刻原始人类动作并精准复现机器人形态特征(如特斯拉Optimus),同时完全保留原始场景信息,而基线模型存在动作不同步、形态还原差、生成无关元素等问题 [13][15] - **消融实验验证**:对比不同模型架构,X-Humanoid 5B版本不仅性能最优(PSNR 21.836 dB),且训练/推理效率远超14B版本(每帧训练时间0.10s vs 1.05s,推理时间5.00s vs 69.16s),同时2500步微调被验证为最优选择 [17][18][19] 局限与未来方向 - **当前局限**:方案目前仅支持单人视频,在多人场景下行为定义不明确;且需要为新机器人形态训练专属LoRA,未能实现零样本形态适配;部分场景中存在小物体消失、遮挡处理不精准等细节问题 [20][24] - **未来优化方向**:可通过添加显式控制机制支持多人生成;探索单图条件下的零样本转化技术以适配新机器人形态;通过增强合成数据中的细节多样性来进一步提升模型鲁棒性 [20][24] 总结:X-Humanoid的范式价值与行业影响 - **核心贡献**:不仅生成了大规模机器人训练数据,更建立了“合成数据驱动-模型专项适配-真实场景落地”的完整技术链路,为数据稀缺型机器人任务提供了可复用的解决方案 [21] - **行业影响**:其释放的17小时合成数据集与60小时机器人化Ego-Exo4D数据集,为VLA模型与世界模型的训练提供了关键支撑,推动机器人从“依赖真实数据”向“利用虚拟合成+互联网数据”转型,加速通用自主机器人的落地进程 [21]
干家务一小时挣1000元,具身智能时代人类新岗位
量子位· 2025-10-24 11:53
机器人行业投资与数据需求 - 机器人领域是当前人工智能最热门的领域之一,被预测将迎来其"ChatGPT时刻" [10] - 截至文章发布时,该领域的风险投资已激增至121亿美元 [10] 机器人训练数据挑战 - 机器人行业面临数据荒,缺乏现成的互联网数据集,必须从零开始在现实世界中生成训练数据 [11] - 真实数据(如通过专业设备记录人类活动或物理数据)质量高但规模有限、成本高 [12][13][14] - 合成数据(如在虚拟环境中生成)成本较低,能实现数据自由,例如NVIDIA Cosmos可生成逼真训练环境 [16] - 为兼顾真实性与规模性,行业普遍采用结合真实与合成数据的策略 [18] 数据服务市场动态 - 数据标注服务商(如Encord、Micro1、Scale AI)高价回收人类执行日常任务(如做家务)的视频作为训练素材 [7] - Encord对高技术性任务视频(如操作设备)提供的报酬最高可达每小时150美元 [19] - Micro1提供的报酬在每小时25至50美元之间 [20] - Scale AI已生成超过10万小时的训练影像 [21] - 有机器人初创公司以每小时10-20美元的报酬征集用户拍摄的家务视频 [23] - 优质数据依然短缺,市场上可购买的最大规模数据集仅约5000小时时长,远不能满足需求 [26]