域随机化

搜索文档
RoboTwin系列新作:开源大规模域随机化双臂操作数据合成器与评测基准集
机器之心· 2025-07-07 15:50
核心观点 - RoboTwin 2.0 是一个开源的大规模域随机化双臂操作数据合成器与评测基准集,包含50个任务的评测基准和5款本体的支持 [8][23] - 该系统通过多模态大模型与仿真闭环优化专家代码生成,显著提升任务执行效率与成功率 [10][25] - 构建了包含147类731个物体的RoboTwin-OD数据集,为复杂场景提供丰富语义支持 [12][14] - 引入系统化域随机化策略,从5个维度增强模型鲁棒性 [16] - 实验表明该系统可显著提升双臂机器人在真实环境中的迁移性能 [30][33] 技术架构 专家代码生成 - 提供更精简易用的API库,降低多模态模型生成代码门槛 [10] - 结合关键帧视觉观测和实时反馈迭代优化代码,平均成功率从47.4%提升至71.3% [25][27] - 迭代次数从2.46次降至1.76次,LLM token消耗显著降低 [27] 物体数据集 - RoboTwin-OD包含147类731个实例,其中534个通过AIGC生成并优化 [12] - 精细标注操作点、方向及多级语义信息 [12] - 支持复杂场景布置和大规模任务设计 [12][14] 自适应抓取 - 为5种本体构建差异化抓取候选集 [15] - 平均成功率提升8.3%,低自由度平台提升更显著(Piper平台+22.7%) [28] 域随机化策略 - 场景杂乱:随机加入干扰物体并进行语义分组 [18] - 背景纹理:构建12000种高质量纹理库 [19] - 光照条件:随机化光源类型、数量、颜色等参数 [20] - 桌面高度:在合理范围内均匀采样 [21] - 语言指令:通过大模型生成多样化任务描述 [22] 性能表现 仿真环境 - 在32项任务9600条数据上微调,为RDT模型带来71.6%相对提升 [30] - 典型任务平均成功率从47.4%提升至62.1% [27] 真实迁移 - 引入1000条合成数据后,四种测试配置成功率提升13.5%-33.0% [33] - 纯合成设置下仍能取得20%以上的成功率提升 [33] 开源生态 - 代码获1.2k Github Stars,包含50个任务实现 [3][36] - 提供10万+条预采集操作数据和完整物体资产库 [37] - 配套用户友好文档和示例 [9][37] 行业影响 - 作为CVPR 2025等多项赛事的官方赛题 [3] - 吸引64支队伍400+人次参与相关竞赛 [39] - 优胜方案包含SEM和AnchorDP3等创新算法 [39]
人形机器人优雅漫步,强化学习新成果!独角兽Figure创始人:之前大家吐槽太猛
量子位· 2025-03-26 18:29
人形机器人技术进步 - 人形机器人独角兽Figure利用强化学习实现自然人形行走,步态更轻盈、速度更快[3][4] - 采用端到端神经网络训练,包含强化学习、模拟训练和Sim-to-Real三部分技术模块[8][9][10][11] - 通过GPU加速仿真在数小时内生成多年数据,并行模拟数千机器人应对多样化场景[14][15] 技术实现细节 - 强化学习策略结合人类行走轨迹奖励机制,优化速度跟踪、功耗及抗干扰能力[17] - 使用域随机化和kHz速率扭矩反馈控制解决"模拟到现实差距",实现零接触部署[18] - 技术已实现10台机器人同步同频行走,计划扩展至数千台规模[20][21] 行业动态与公司战略 - 创始人表示步态改进非首要任务,最终目标是商业化运送机器人[22] - 2024年海内外厂商密集布局人形机器人,vivo同日宣布成立机器人Lab[24] - 行业展示能力包括复杂运动如空翻、托马斯全旋等拟人化动作[28]