零样本行为泛化

搜索文档
英伟达让机器人「做梦学习」,靠梦境实现真·从0泛化
量子位· 2025-05-21 18:39
核心观点 - 英伟达通过DreamGen项目实现机器人"梦境学习",利用AI视频世界模型生成神经轨迹,仅需少量现实视频即可让机器人学会22种新任务[2][6][7] - 该方法突破传统机器人依赖大规模人工数据的限制,实现从0开始的泛化能力,复杂任务成功率从21%提升至45.5%[7][23] - 技术被纳入GR00T-Dreams蓝图,将加速机器人开发周期(从3个月缩短至36小时)并推动物理AI发展[31][32] 技术原理 - **四步流程**: 1 微调模型捕捉机器人运动特征[17] 2 生成海量虚拟视频序列(含已知/未知行为)[18] 3 通过潜在动作模型解析伪动作序列[20] 4 用视频-动作序列训练视觉运动策略[22] - 首创机器人视频生成评估基准DreamGen Bench,量化指令遵循度与物理合理性[29] 性能突破 - 单一动作数据学习新动作成功率从11.2%提升至43.2%,全新环境成功率从0%达到28.5%[25] - 神经轨迹规模达人类演示数据的333倍,策略性能随数据量对数增长[26] - 在Franka、SO-100等真实机器人平台验证有效性,接触密集型任务表现显著增强[23][28] 战略布局 - GR00T-Dreams将整合DreamGen技术,通过合成运动数据压缩动作令牌[31] - GR00T N1.5作为首款可定制类人推理基础模型,计划年底部署于Jetson Thor芯片[32] - 公司构建从AI大脑到模拟世界的全栈机器人技术基础设施[34]