仿真与现实鸿沟(Sim2Real Gap)的挑战与重要性 - 机器人学习面临的核心问题是仿真与现实世界之间存在显著差距,具体体现在感知差距(如视觉、触觉信号差异)、物理交互差距(如物体受力反馈、形变偏差)以及场景复杂度差距(如难以复现真实世界的动态变化)[3][4] - 该鸿沟导致在仿真环境中训练的机器人程序难以直接适配并应用于真实场景[4] - 与主要依赖视觉的自动驾驶仿真相比,机器人领域的仿真挑战更大,因其涉及物理接触、操控,并需结合灵巧手和触觉传感器,问题复杂得多[9] 仿真与合成数据作为解决方案 - 现实中手动采集机器人数据成本高、效率低且存在安全风险,而仿真被认为是突破此数据困境的关键路径[7] - 由于机器人数量有限,难以像自动驾驶汽车那样大规模采集现实数据,因此必须使用合成数据,并坚信合成数据将是解决物理AI数据壁垒最重要、最主要的数据来源[9] - 通过仿真可生成上千种模型并设置不同物理参数,使机器人在几天内完成相当于现实几年的训练量,例如训练机器人叠衣服[12] - 生成式AI技术(如3D计算机视觉、视频生成、3D世界生成)有望提升仿真真实感,优化视觉渲染和物体细节,减少感知差距[6] 英伟达的“三台计算机”战略布局 - 公司致力于打造机器人可学习的“虚拟地球”,其技术体系可通过“三台计算机”的逻辑理解,Sim2Real是串联三者的核心纽带[10] - AI超级计算机:是让机器学会处理信息的基础,为机器人核心程序提供算力支撑[10] - 仿真计算机:以Omniverse和Isaac Sim为核心,让机器在虚拟世界中掌握感知与交互能力,其关键难点在于物理交互,例如电缆、电线仿真是亟待突破的“圣杯级”难题[11] - 物理AI计算机:由GROOT(通用机器人基础程序)、Cosmos(世界模型)和Jetson Thor(机器人端侧芯片)构成,负责让机器人在真实世界中执行任务,其中Cosmos是衔接仿真与现实的关键环节,能像数据放大器一样生成更多样、更贴近真实情况的数据[11][12] 英伟达与光轮智能的合作关系 - 光轮智能与公司的Sim2Real技术路线高度契合,双方已形成技术共生关系,光轮智能是少数能在物理精度、交互逻辑、场景多样性上全面匹配公司物理智能生态需求的合作方[12] - 公司正重点推进物理AI(含机器人、自动驾驶、数字孪生)的技术落地,核心痛点是缺乏海量真实、多样化的物理交互数据,需要能稳定输出高质量数据的“合成数据工厂”以及愿景一致的合作伙伴,而光轮智能成立的时机恰好满足此需求[15] - 双方对SimReady资产有共识,认为其不仅是数字3D模型,还必须具备真实的物理属性(如冰箱铰链的阻尼、微波炉材质的摩擦系数),光轮智能的核心工作是通过专业设备采集真实物理数据并植入SimReady资产,确保物理属性匹配[16] 英伟达物理智能的全链路体系 - 公司正构建物理智能全链路体系,包括OpenUSD(3D数据标准)、SimReady(仿真资产标准)、Newton(物理计算)、Cosmos(世界模型)[16] - Sim2Real的关键不是让虚拟复制现实,而是通过场景随机化、参数调整让虚拟覆盖现实,使机器人在虚拟中接触足够多的意外情况,从而能在现实中应对自如[12] - 与斯坦福合作的“OmniGibson”仿真引擎已能支持刚体物理、可变形物体(布料、流体)交互,以及物体的加热、切割等复杂状态模拟[6]
黄仁勋女儿首秀直播:英伟达具身智能布局藏哪些关键信号?