机器人前瞻5月22日报道，近日，NVIDIA GEAR Lab推出DreamGen项目，该项目能够让机器人实现"在梦境中学习"，在业内真正实现了零样本行为泛化 和零样本环境泛化。同时，英伟达还计划在未来几周对DreamGen进行全开源。 在过去，机器人学习依赖人工收集大规模遥操作数据，这往往耗费大量时间与成本。而仿真合成数据，也会因为sim2real 问题，导致机器人很难学以致 用，应用到真实的场景中。 英伟达机器人总监兼杰出科学家、GEAR Lab联合负责人Jim Fan介绍，DreamGen是一款全新的引擎，它不依赖人类操作员团队来扩展机器人的学习能 力，而是通过数字梦境来实现。 DreamGen 借助Sora、Veo这样的视频世界模型，创造出大规模逼真的机器人训练数据，直接从real2real开始，能应用在不同类型的机器人身上，并让机器 人在新物体、新动作和新环境中实现强泛化能力。 01.简单四步，教会机器人在梦境中学习 DreamGen只需要通过以下四步流程即可实现： 1、微调视频世界模型 基于人类遥操作的机器人轨迹，在目标机器人上对视频世界模型进行微调，这一适配过程使模型能够学习机器人的物理约束和运 ...