DreamGen

搜索文档
英伟达让机器人“做梦学习”,仅需 1 个动作数据,解锁 22 种新技能
36氪· 2025-05-23 09:49
核心观点 - NVIDIA GEAR Lab推出DreamGen项目,实现机器人零样本行为泛化和零样本环境泛化,并计划未来几周全开源[1] - DreamGen通过视频世界模型生成大规模逼真训练数据,直接从real2real开始,提升机器人在新物体、新动作和新环境中的泛化能力[1] - 机器人学习新行为的成功率显著提升,从11.2%提升至43.2%,陌生环境中的成功率从0%达到28.5%[14] - 神经轨迹规模达到人类演示数据的333倍,策略性能随轨迹数量呈对数线性提升[14] - 团队开发首个机器人视频生成评估基准DreamGen Bench,衡量生成数据的指令遵循度和物理合理性[16] DreamGen技术流程 - 微调视频世界模型:基于人类遥操作轨迹,学习机器人的物理约束和运动能力[4] - 生成多样化场景:输入初始帧和语言指令,模型生成机器人执行任务的视频,包括新环境中的新行为[5] - 提取动作数据:使用潜在动作模型或反向动力学模型,从视频中提取伪动作序列[6] - 训练机器人模型:基于神经轨迹训练机器人视觉运动策略,采用1:1比例混合神经轨迹与真实轨迹[8] 实验成果 - 人形机器人在10个全新环境中掌握22种新行为,如倾倒、锤击、折叠等[10] - 在RoboCasa仿真验证中,神经轨迹规模为人类演示数据的333倍[14] - 复杂任务在Fourier GR1、Franka Emika和SO-100等机器人平台上的成功率显著提升[14] 行业影响 - DreamGen为机器人学习开辟新路径,从依赖人工遥操作数据转向通过世界模型扩展GPU计算生成数据[18] - 技术增强现有任务训练效果,并赋予机器人在陌生环境中学习全新行为的能力[18] - 奠定世界模型在机器人领域潜力释放的基础,标志机器人通过数字梦境学习的新时代到来[18]
腾讯研究院AI速递 20250522
腾讯研究院· 2025-05-21 23:01
谷歌Veo 3视频生成技术 - Veo 3实现音画同步生成功能,能根据提示词同时生成视频画面、对白、唇动和音效,实现完整的视听体验 [1] - 基于V2A技术,模型能将视频像素转化为语义信号,配合文本提示生成匹配音频 [1] - 模型支持长提示词理解和多步骤事件流生成,但目前仅限8秒视频,面向美国Ultra订阅用户开放,定价249.99美元/月 [1] 谷歌Gemini Diffusion文本生成技术 - Gemini Diffusion采用扩散技术生成文本,速度达2000token/秒,12秒可生成1万tokens [2] - 区别于传统自回归模型从左到右生成,通过逐步优化噪声学习生成输出,可快速迭代和错误纠正 [2] - 性能可与更大的模型Gemini 2.0 Flash-Lite相媲美,支持非因果推理,能一次生成整个标记块 [2] 腾讯混元模型升级 - 腾讯混元TurboS排名全球前八,引入长短思维链融合技术后,理科推理提升10%,代码能力提升24%,竞赛数学提升39% [3] - 基于TurboS新推出视觉深度推理模型T1-Vision和端到端语音通话模型混元Voice,前者理解速度提升50%,后者语音通话延迟降至1.6秒 [3] - 多模态领域全面升级:图像2.0实现毫秒级生图,3D v2.5提升几何精度,并承诺持续推进全系模型开源 [3] 字节语音播客模型 - 字节推出豆包·语音播客模型,基于流式模型实现文本到双人对话播客的秒级转化,支持热点内容快速生成 [4] - 模型突破传统AI播客痛点,实现双人对话自然流畅、高度拟人的语音效果,并具备深度搜索功能,5秒可生成热点播客 [5] - 支持灵感创作和超长文本转播客功能,将在豆包APP、PC端和扣子等产品陆续上线 [5] 谷歌FLOW AI视频剪辑工具 - FLOW是谷歌首个AI视频创作产品,支持Veo3视频生成,需在输入框设置选择"Highest Quality"可开启声音功能 [6] - 提供三种生成方式:文生视频(仅支持英文提示词)、图生视频(支持首尾帧控制)、素材转视频(可用3张参考图+1张风格图) [6] - 具备视频剪辑功能,可调整分镜顺序、删除分镜、延长视频(需通过"跳转到"功能实现),最终可导出1080P完整视频作品 [6] Google智能眼镜与Android XR - Google联合Xreal推出Project Aura智能眼镜,搭载Gemini 2.5 Pro和Project Astra,实现实时翻译、视觉搜索和多模态上下文理解 [7] - 作为首个Gemini时代构建的Android平台,Android XR支持150多个国家45种语言,能通过双摄像头和多个麦克风实现强大的AI交互体验 [7] - Google与Gentle Monster和Warby Parker合作开发时尚科技眼镜,注重隐私保护,但由于Gemini限制,国内用户或难以体验完整功能 [7] 英伟达DreamGen机器人学习项目 - 英伟达推出DreamGen项目,让机器人在神经网络生成的「梦境世界」中自主学习,通过生成大量带标签的神经轨迹实现技能掌握和泛化 [8] - 项目在多种机器人上验证效果显著:类人机器人GR1成功率提升至46.4%,机械臂Franka提升至37%,SO-100提升至45.5%,实现了对陌生动作和环境的泛化 [8] - DreamGen通过微调视频世界模型、生成平行世界视频、提取伪动作标签、训练机器人基础模型四大流程,将合成数据规模扩展至原始数据333倍 [8] FaceAge AI年龄预测技术 - Mass General Brigham团队开发的AI模型FaceAge,通过分析人脸照片预测生物年龄,在56,000多张60岁以上人群照片上训练,能评估癌症患者治疗预后 [10] - 研究显示AI判定"显老"10岁的患者死亡风险增加11-15%,癌症患者平均比实际年龄老4.79岁,且当前吸烟者平均增加33.24个月衰老程度 [10] - FaceAge目前存在局限性:训练数据主要基于白人面孔,整容、化妆等因素影响未知,且可能存在隐私和医疗伦理风险,距离临床应用仍有距离 [10] 微软CPO谈AI时代产品管理 - 微软CPO认为Prompt正在取代传统PRD,成为AI时代构建产品的起点,并强调"品味"和"编辑能力"成为产品经理的关键能力 [11] - AI时代的产品开发应着重于原型验证,从想法到Demo的时间缩短,但从Demo到全面上线时间变长,要避免过早设定指标,关注用户真实反馈 [11] - 好的产品需满足三个关键转折点中的两个:技术层面飞跃、用户行为变化和商业模式变化 [11] AI对未来人类社会的潜在影响 - "已解决的世界"(所有实际问题都由AI解决)可能在当代人有生之年出现,届时人类将面临意义和目标缺失的挑战 [12] - 在这个世界中,人类不再需要为生计工作,但也失去了很多传统价值来源 [12] - 当下是"目标的黄金时代",我们应该积极解决现实问题,同时为人类在AI主导的未来中找到新的定位和意义 [12]
英伟达让机器人「做梦学习」,靠梦境实现真·从0泛化
量子位· 2025-05-21 18:39
核心观点 - 英伟达通过DreamGen项目实现机器人"梦境学习",利用AI视频世界模型生成神经轨迹,仅需少量现实视频即可让机器人学会22种新任务[2][6][7] - 该方法突破传统机器人依赖大规模人工数据的限制,实现从0开始的泛化能力,复杂任务成功率从21%提升至45.5%[7][23] - 技术被纳入GR00T-Dreams蓝图,将加速机器人开发周期(从3个月缩短至36小时)并推动物理AI发展[31][32] 技术原理 - **四步流程**: 1 微调模型捕捉机器人运动特征[17] 2 生成海量虚拟视频序列(含已知/未知行为)[18] 3 通过潜在动作模型解析伪动作序列[20] 4 用视频-动作序列训练视觉运动策略[22] - 首创机器人视频生成评估基准DreamGen Bench,量化指令遵循度与物理合理性[29] 性能突破 - 单一动作数据学习新动作成功率从11.2%提升至43.2%,全新环境成功率从0%达到28.5%[25] - 神经轨迹规模达人类演示数据的333倍,策略性能随数据量对数增长[26] - 在Franka、SO-100等真实机器人平台验证有效性,接触密集型任务表现显著增强[23][28] 战略布局 - GR00T-Dreams将整合DreamGen技术,通过合成运动数据压缩动作令牌[31] - GR00T N1.5作为首款可定制类人推理基础模型,计划年底部署于Jetson Thor芯片[32] - 公司构建从AI大脑到模拟世界的全栈机器人技术基础设施[34]