Workflow
零样本行为泛化
icon
搜索文档
英伟达让机器人「做梦学习」,靠梦境实现真·从0泛化
量子位· 2025-05-21 18:39
鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 「仿生人会梦见电子羊吗?」这是科幻界一个闻名遐迩的问题。 现在英伟达给出答案:Yes!而且还 可以从中学习新技能 。 如下面各种丝滑操作,都没有真实世界数据作为训练支撑。 仅凭文本指令,机器人就完成相应任务。 这是NVIDIA GEAR Lab最新推出的 DreamGen 项目。 它所说的"梦境中学习",是巧妙利用AI视频世界模型生成神经轨迹,仅需少量现实视频,就能让机器人学会执行22种新任务。 在真实机器人测试上,复杂任务的成功率更是从21%显著提升至45.5%,并 首次实现真正意义上的从0开始的泛化 。 英伟达掌门人老黄最近也在Computex 2025演讲上将其作为 GR00T-Dreams 的一部分对外正式进行宣布。 接下来就DreamGen构造我们一一拆解。 在梦境中学习 传统机器人虽已展现出执行复杂现实任务的巨大潜力,但严重依赖人工收集的大规模遥操作数据,成本高且耗时长。 纯粹的计算机仿真合成数据,也由于模拟环境与真实物理世界差距大,机器人所学会的技能难以直接应用到现实。 于是研究团队提出要不试试让机器人在梦境中学习? 这个想法也并非空穴来风, ...