核心观点 - NVIDIA GEAR Lab推出DreamGen项目，实现机器人零样本行为泛化和零样本环境泛化，并计划未来几周全开源[1] - DreamGen通过视频世界模型生成大规模逼真训练数据，直接从real2real开始，提升机器人在新物体、新动作和新环境中的泛化能力[1] - 机器人学习新行为的成功率显著提升，从11.2%提升至43.2%，陌生环境中的成功率从0%达到28.5%[14] - 神经轨迹规模达到人类演示数据的333倍，策略性能随轨迹数量呈对数线性提升[14] - 团队开发首个机器人视频生成评估基准DreamGen Bench，衡量生成数据的指令遵循度和物理合理性[16] DreamGen技术流程 - 微调视频世界模型：基于人类遥操作轨迹，学习机器人的物理约束和运动能力[4] - 生成多样化场景：输入初始帧和语言指令，模型生成机器人执行任务的视频，包括新环境中的新行为[5] - 提取动作数据：使用潜在动作模型或反向动力学模型，从视频中提取伪动作序列[6] - 训练机器人模型：基于神经轨迹训练机器人视觉运动策略，采用1:1比例混合神经轨迹与真实轨迹[8] 实验成果 - 人形机器人在10个全新环境中掌握22种新行为，如倾倒、锤击、折叠等[10] - 在RoboCasa仿真验证中，神经轨迹规模为人类演示数据的333倍[14] - 复杂任务在Fourier GR1、Franka Emika和SO-100等机器人平台上的成功率显著提升[14] 行业影响 - DreamGen为机器人学习开辟新路径，从依赖人工遥操作数据转向通过世界模型扩展GPU计算生成数据[18] - 技术增强现有任务训练效果，并赋予机器人在陌生环境中学习全新行为的能力[18] - 奠定世界模型在机器人领域潜力释放的基础，标志机器人通过数字梦境学习的新时代到来[18]