Workflow
机器人数字梦境学习
icon
搜索文档
英伟达让机器人“做梦学习”,仅需 1 个动作数据,解锁 22 种新技能
36氪· 2025-05-23 09:49
机器人前瞻5月22日报道,近日,NVIDIA GEAR Lab推出DreamGen项目,该项目能够让机器人实现"在梦境中学习",在业内真正实现了零样本行为泛化 和零样本环境泛化。同时,英伟达还计划在未来几周对DreamGen进行全开源。 在过去,机器人学习依赖人工收集大规模遥操作数据,这往往耗费大量时间与成本。而仿真合成数据,也会因为sim2real 问题,导致机器人很难学以致 用,应用到真实的场景中。 英伟达机器人总监兼杰出科学家、GEAR Lab联合负责人Jim Fan介绍,DreamGen是一款全新的引擎,它不依赖人类操作员团队来扩展机器人的学习能 力,而是通过数字梦境来实现。 DreamGen 借助Sora、Veo这样的视频世界模型,创造出大规模逼真的机器人训练数据,直接从real2real开始,能应用在不同类型的机器人身上,并让机器 人在新物体、新动作和新环境中实现强泛化能力。 01.简单四步,教会机器人在梦境中学习 DreamGen只需要通过以下四步流程即可实现: 1、微调视频世界模型 基于人类遥操作的机器人轨迹,在目标机器人上对视频世界模型进行微调,这一适配过程使模型能够学习机器人的物理约束和运 ...