Isaac Lab Arena
搜索文档
黄仁勋长女直播亮相,聊了具身智能
量子位· 2025-10-16 17:30
合作背景与公司定位 - 光轮智能是一家专注于仿真合成数据技术的公司,其核心目标是帮助AI更好地理解和进入物理世界,目前主要聚焦于具身智能和自动驾驶两大场景 [3] - 英伟达内部多个项目(如Gear Lab的通用智能体模型构建、西雅图机器人实验室的接触操作和精密装配任务)都依赖于光轮智能的支持 [6] - 光轮智能成立于2023年,旨在利用合成数据和仿真来突破机器人数据瓶颈,初期从自动驾驶合成数据问题切入,后合作扩展至英伟达多个团队 [9][10] 核心挑战与解决方案 - 机器人领域面临数据匮乏问题,无法像语言模型那样利用互联网数据,必须手动采集,仿真和合成数据工厂被视为解决方案 [8] - 机器人从虚拟到现实(Sim2Real)的核心挑战在于物理准确性,例如开门时的磁吸力、拉抽屉时的摩擦力等精确物理特性 [12][13] - 高质量数据是机器人训练系统和生成正确算法的关键,合成数据被认为是解决具身智能数据瓶颈最重要、最主要的数据来源 [15][19] - 现实世界中机器人数量有限(如工厂、家庭环境),而自动驾驶有大量汽车在道路上运行,凸显了合成数据的必要性 [18] 技术平台与研发重点 - 英伟达与光轮智能正共同开发Isaac Lab Arena,这是一个用于基准测试、评估、数据收集和大规模强化学习的下一代开源框架和平台 [7][28] - 为实现高效的大规模强化学习,需确保仿真在计算上高效,例如使用基本几何体和凸包进行碰撞检测以节省计算资源 [21] - 电缆仿真是技术难点,光轮智能与Newton及英伟达合作为电缆构建求解器,并研发仿真就绪资产 [22][23] - 光轮智能与英伟达Isaac Sim实验室合作,共同攻克仿真到现实的迁移挑战,例如教机器人利用工具完成特定操作(如切割黄瓜) [25][26][28] 关键人物背景 - 光轮智能CEO谢晨曾是英伟达自动驾驶仿真负责人 [11] - 英伟达Omniverse与物理AI高级总监Madison Huang(黄仁勋女儿)负责相关领域 [1][32] - 英伟达机器人产品线经理Spencer Huang(黄仁勋儿子)负责开发用于机器人的AI模型与仿真软件 [36][37]
英伟达一口气开源多项机器人技术,与迪士尼合作研发物理引擎也开源了
量子位· 2025-10-02 11:26
文章核心观点 - 英伟达在机器人学习大会(CoRL)上发布了多项开源技术,旨在系统性解决机器人研发中的关键难题 [1] - 此次发布覆盖了从物理引擎、基础模型、训练工作流到硬件基础设施的“全栈式”布局,重新定义机器人研发的游戏规则 [1][10] - 行业领先的机器人公司、制造商及顶尖高校已开始采用这些技术,加速机器人从实验室走向日常生活的进程 [3][9][10] Newton物理引擎 - 该引擎旨在解决机器人技能从仿真环境安全可靠迁移至现实世界的核心难题,全球超过25万机器人开发者面临此问题 [4] - 作为开源项目,基于英伟达的Warp和OpenUSD框架构建,采用GPU加速技术,能够仿真复杂动作如雪地行走和操控细腻物体 [4] - 苏黎世联邦理工学院、慕尼黑工业大学、北京大学等顶尖高校以及光轮智能、Style3D等公司已成为其早期用户 [4] Isaac GR00T N1.6基础模型 - 该开源模型通过集成Cosmos Reason视觉语言模型,赋予机器人接近人类的推理能力,能够将模糊指令转化为可执行的逐步计划 [5][6] - 模型使机器人能同时完成移动和物体操控动作,躯干和手臂活动自由度更大,甚至可推开较重的房门 [6] - Cosmos Reason模型在Hugging Face平台下载量已超过100万次,并在物理推理模型排行榜上位居榜首 [6] - AeiROBOT、Franka Robotics、LG Electronics等领先机器人制造商正在评估采用该系列模型 [7] 训练革新与数据生成 - 基于Omniverse的Isaac Lab 2.3开发者预览版新增了灵巧抓取工作流,采用“自动化课程体系”从简单到复杂逐步训练机器人 [8] - Boston Dynamics的Atlas机器人通过此工作流学习抓取技能,操控能力获得显著提升 [8] - 英伟达与光轮智能联合开发了Isaac Lab Arena,作为开源策略评估框架,支持大规模实验和标准化测试,无需从零构建系统 [8] - 公司提供了开源物理AI数据集,包含数千条合成及真实世界轨迹数据,目前下载量已突破480万次 [6] AI硬件基础设施 - GB200 NVL72机架式系统集成36个Grace CPU和72个Blackwell GPU,已被各大云服务提供商采用 [9] - RTX PRO服务器为机器人开发提供统一架构,RAI Institute已率先使用 [9] - 搭载Blackwell GPU的Jetson Thor能够支持机器人运行多个AI工作流,实现实时智能交互,Figure AI、银河通用等合作伙伴已开始采用 [9] - 在CoRL收录的论文中,近半数引用了英伟达的相关技术,卡内基梅隆大学、华盛顿大学等顶尖研究机构均在使用其GPU、仿真框架和CUDA加速库 [9]