文章核心观点 - 微软研究院发布新型机器人模型Rho-alpha，旨在通过理解自然语言指令，使机器人能在非结构化环境中执行复杂物理任务，推动具身智能技术发展 [1] 模型技术特点 - Rho-alpha源自微软Phi系列视觉语言模型，被描述为“VLA+”模型，融合了视觉、语言及其他传感方式，超越传统输入 [1] - 模型新增触觉传感功能，集成了触摸数据，并正在进行力感应等其他传感方式的研究 [2] - 模型旨在通过用户与机器人互动时提供的反馈，在部署过程中持续改进 [2] 模型训练方法 - 模型训练高度依赖合成数据，采用多阶段训练流程，结合强化学习和仿真技术 [2] - 训练流程基于英伟达的Isaac Sim框架，无需大量实际远程操作即可生成海量训练数据 [2] - 英伟达与微软合作开发仿真基础设施，利用Azure上的Nvidia Isaac Sim生成物理上精确的高保真合成数据集，以加速模型开发 [4] 行业挑战与合作 - 缺乏多样化的真实世界机器人数据是基础模型面临的主要挑战 [4] - 通过远程操作生成训练数据是标准做法，但在许多情况下不切实际或不可能 [4] - 微软研究院与华盛顿大学助理教授Abhishek Gupta合作，利用仿真和强化学习相结合的方法，用合成演示丰富从物理机器人收集的预训练数据集 [4] - 英伟达强调合成数据在克服真实世界数据匮乏、加速机器人技术发展中的作用 [4] 发布与未来计划 - Rho-alpha正通过微软的早期研究访问计划（REAP）发布，并已开放该计划的注册 [1][4] - 公司表示将在未来几个月内发布更多关于其机器人研究工作的更新信息 [4]

行业趋势：AI应用从数字向物理领域演进 - 2026年人工智能的主流应用正从数字领域的生成与对话，无可逆转地转向物理领域的感知应用[1] - AI智能的形态正从手机屏幕里跃迁出来，并越来越多地嵌入物理世界的运行中，例如在电网中实现数字孪生与多模态大模型融合以提升运营效率[3] 核心概念：物理AI的定义与挑战 - 物理AI是指可以理解物理定律、与现实环境互动并施加改变的智能系统，其特性是实现“假设－AI模拟－实验验证”的科研新范式[4] - 业内共识认为物理AI的突破可能更为艰难，5到10年的深耕可能只是起步[4] - 物理AI的发展逻辑与语言模型不同，它需要海量的物理交互语料来内化世界的运行法则，这种“知道”和“体会”必须靠“经历”而非仅靠标注[4] 技术路径：分层架构与端到端学习的融合 - 传统机器人学采用分层架构（感知、规划、控制），其优势是清晰、模块化，帮助国内机器人公司在仓储、巡检等场景快速落地，但存在信息损耗和延迟的天花板[5] - 当前趋势是实现更极致的“端到端”学习，让AI从视觉输入直接映射到动作输出，但面临数据来源、安全性以及错误输出导致真实物理损坏的挑战[5] - “世界模型”概念被推至前台，它让智能体在采取真实行动前能进行快速、低成本的推演，但构建通用物理世界模型极具挑战性[5] - 未来主流可能是一种基于世界模型的分层决策，融合大脑的想象规划与小脑脊髓的反射稳定，而非相互取代[6] 数据解决方案：合成数据与人类视频预训练 - 行业通过“开源节流”提升效率，首当其冲的是利用高保真物理仿真引擎（如英伟达Isaac Sim）以零边际成本生成近乎无限的合成数据[7] - 存在著名的“仿真到现实”鸿沟，虚拟世界的物理参数与真实世界存在微妙差异[7] - 另一种“开源”思路是利用人类日常视频（如YouTube第一视角视频）进行预训练，让AI无监督地学习物体属性和物理常识[7] - 前沿探索如英伟达GROOT模型，正实践“人类视频预训练+仿真微调+真机精调”的混合模式，暗示未来可能形成人类经验、虚拟仿真和实体交互的“三位一体”数据生态[7] 中国发展路径：工程落地与战略纵深 - 中国物理AI的发展路径更突出工程的场景落地，优势在于将前沿技术迅速工程化、产品化，并依托完整供应链控制成本[9] - 中国常常是第一个能将技术稳定、便宜地用在工厂流水线、物流仓库或电网巡检中的国家，这种工程化和成本控制能力构成了强大的市场穿透力[9] - 通过顶层设计为物理AI提供了清晰的应用场景和产业通道，“人工智能+”行动和“具身智能”被写入政府工作报告，系统性地开辟了庞大复杂的“训练场”[10] - 具体目标包括2027年智能终端普及率达到70%，为物理AI进化设定了现实坐标系[10] 发展前景与终极挑战 - 物理AI的终极梦想是“通用”智能体，能像人一样快速适应新环境、新任务，但距离此目标可能比想象更远[11] - 行业技术应用没有一招制胜的奇点，需要在感知、控制、规划、材料、能源等每一个环节持续突破[11] - 当智能体在人群中自主移动时，其决策失误的后果是物理性的，因此可解释性、安全冗余、伦理规范将成为不可逾越的生命线[11] - 2026年是一个重要的路标，标志着AI真正开始脱离虚拟领域，尝试触碰并塑造物理现实[12]

核心观点 - 英伟达AI芯片业务营收在截至10月的九个月内达到近1480亿美元，远超2023年同期的275亿美元，但公司向软硬一体化平台转型的关键尝试——Omniverse软件业务遭遇重挫，商业化进程严重滞后，暴露了其开辟第二增长曲线的艰难挑战 [1][2] 业务表现与现状 - Omniverse Cloud服务因自2022年推出以来需求“几乎不存在”，已于2025年8月关闭 [1] - 公司曾斥资数亿美元从甲骨文、谷歌和微软租赁数千个GPU以支持该项目，但大部分时间因缺乏外部客户而忙于在内部寻找用途以避免芯片闲置 [1] - 尽管CEO黄仁勋在CES上仍将其描绘为数万亿美元的“物理AI”机会，但公司内部对其进展缓慢感到沮丧 [1] 产品与商业化问题 - 软件平台被开发者普遍反映“难用”、功能不完整且极易崩溃，场景创建工具操作复杂且文档陈旧 [3] - 极少有客户真正签约使用Omniverse Cloud服务器进行大规模模拟，尽管客户名单包括宝马、西门子、富士康和波士顿动力等 [3] - 在去年11月的一次活动中，有英伟达代表承认软件尚未准备好满足特定需求，并建议客户转而使用竞争对手Unity的软件 [3] - 与宝马宣布的合作伙伴关系规模远小于最初预期，尽管宣称宝马全球有超过2万名规划人员使用该软件，但未详细说明实际销售额 [4] 内部管理与战略压力 - CEO黄仁勋多次批评团队浪费工程资源在“演示”而非“产品”上，并指责团队未实现盈利 [1][4] - 黄仁勋曾因团队增加人员开发新产品的请求愤怒斥责近一小时，强调现有人员已足够 [4] - 黄仁勋长期担心竞争对手会抢占先机，极力推动公司寻找新的收入来源 [4] - 公司通过让CEO的儿女加入该部门工作，以及投资新思科技和MetAI等公司，试图整合工具并推动生态系统建设 [6] 市场竞争与行业挑战 - 该领域面临Unity Technologies和开源模拟器Gazebo等强有力的竞争对手 [6] - 许多大型企业如特斯拉更倾向于开发内部模拟软件，而非依赖英伟达的通用平台 [6] - 行业特定的技术门槛构成挑战，例如Isaac Sim工具在处理如衣物等形状不断变化的复杂物体时并不实用 [6] - 成本效益是阻碍普及的因素，有行业人士指出租赁云端服务器在成本上并不划算 [6] - Omniverse目前被描述为一个供开发者构建的横向开放平台，而非完整的应用程序，意味着从无到有创造一个市场仍需漫长的培育期 [7] 长期愿景与类比 - 公司高管将Omniverse类比为CUDA，后者经历了十多年的投资才彻底改变了深度学习领域 [6] - 公司认为Omniverse是打开“物理AI”这一巨大市场的基础软件，长期愿景正通过机器人和汽车公司的采用而获得回报 [6]

公司业绩与增长 - 英伟达在AI芯片业务推动下实现惊人增长，营收从2023年前九个月的275亿美元跃升至2024年同期的近1480亿美元 [1] Omniverse业务现状与问题 - 公司CEO黄仁勋将英伟达下一阶段押注在机器人和制造业，核心是Omniverse平台 [2] - 经过四年努力，Omniverse业务几乎没有取得实质性进展，真正签约在Omniverse Cloud上运行大规模模拟的公司寥寥无几 [7] - 开发者评价Omniverse软件难以使用、容易崩溃、功能不完整，尝试模拟人类等复杂场景时平台会崩溃 [7] - 有案例显示，英伟达代表承认Omniverse尚未准备好满足特定需求，并建议客户使用竞争对手Unity的软件 [8] - Omniverse团队向黄仁勋展示了大量软件演示，但至今未将任何一个演示转化为实际产品 [11] 管理层反应与内部挑战 - 黄仁勋在内部会议上质问Omniverse团队是否赚到了钱，并对与宝马合作的实际规模远小于预期感到生气 [10] - 黄仁勋曾因团队要求增员而愤怒训斥一小时，指责团队浪费工程师时间在无法转化为产品的演示上 [10][11] - 黄仁勋将其子女安插在Omniverse部门工作，女儿在营销团队，儿子是机器人产品经理，显示出战略层面的重视与焦虑 [25] 技术困境与市场挑战 - 模拟物理世界（尤其是柔性物体、液体、管线）的复杂程度极高，现有工具如Isaac Sim在操纵复杂物体（如衣物）方面几乎派不上用场 [12] - 为不同行业（机器人、汽车、工业设备）构建通用模拟软件是几乎不可能的任务，各领域需求差异巨大 [13][14] - 许多公司（如特斯拉）选择自己开发模拟软件，机器人行业主要玩家倾向于掌握核心技术自主权 [15][16] - Omniverse定位为面向开发者的横向开放平台，但缺乏足够的稳定性和完整性，面临“鸡和蛋”的生态发展困境 [16] - 竞争对手如Unity和开源模拟器Gazebo正在蚕食市场，它们各有图形渲染、用户体验或社区支持的优势 [18] 战略意义与潜在风险 - Omniverse承载着英伟达复制AI领域成功的战略野心，旨在通过模拟推动数十亿美元的芯片采购，并在制造业、物流业建立软件生态护城河 [21] - 如果Omniverse失败，公司可能从生态系统制定者退化为纯硬件供应商，一旦出现性能相当的竞争芯片，客户迁移成本将降低 [21][22] - 竞争对手AMD、英特尔及AI芯片初创公司正在缩小与英伟达的性能差距 [22] - 在物理AI和机器人领域，如果客户使用自建软件栈，英伟达将失去对技术趋势的洞察力和影响力 [23] - 公司试图在碎片化的市场中建立统一标准，但满足所有行业需求非常困难，且时间窗口紧迫，机器人产业正在快速发展并可能固化技术栈 [28][30]

安得拉邦政府招商引资动态 - 安得拉邦信息技术和工业部长Nara Lokesh于12月10日在美国旧金山会见了Alphabet与谷歌首席执行官Sundar Pichai 双方审查了谷歌在维沙卡帕特南投资150亿美元的AI数据中心项目进展 并讨论了加速时间线 该项目是印度最大的外国直接投资项目之一 [1] - 部长邀请谷歌在该邦即将建成的无人机城探索建立无人机组装、校准和测试单元 并深化服务器制造生态系统 [2] - 部长会见了Adobe首席执行官Shantanu Narayen 邀请其在维沙卡帕特南建立全球能力/开发中心 并讨论了在无晶圆厂设计、研究以及利用该邦AMTZ和医药区进行健康科技和生命科学投资方面的更深层次合作 [2] 与半导体及计算技术公司的合作邀约 - 部长在圣克拉拉会见了英伟达企业及云销售副总裁Raj Mirpuri 呼吁其与安得拉邦合作开发AI技能、智能制造和未来技术 并请求英伟达建立使用Omniverse和Isaac Sim的智能工厂试点 同时寻求支持以吸引全球OSAT/ATMP合作伙伴到该邦投资 [3] - 部长在圣克拉拉与英特尔全球IT首席技术官Shesha Krishnapura举行讨论 邀请这家芯片巨头探索在安得拉邦建立ATMP（组装、测试、标记和封装）单元 [4] - 部长还与OpenAI首席技术官Srinivas Narayanan以及AMD副总裁Vamsi Boppana举行了讨论 以考虑在安得拉邦的投资 [4]

合作公告与市场反应 - 发那科与英伟达宣布在真实工厂产线及生产仿真领域深度合作，公司股价一度上涨9.4%，创下自2021年7月以来新高[1] - 合作内容包括将发那科ROBOGUIDE机器人仿真软件与英伟达物理AI引擎NVIDIA Isaac Sim打通[1] 合作内容与技术整合 - 发那科将英伟达开源机器人仿真框架整合进自身软件体系，帮助工业机器人及工厂自动化制造商客户进行虚拟操作测试[2] - 公司正与英伟达及软件开发商合作设计能更好识别语音指令、避免人员伤害及追踪核心运动零部件的机器人[2] - 技术整合涉及英伟达Isaac Sim、Isaac Lab、Newton物理引擎及Isaac GR00T等开放式机器人仿真与大模型能力[5] 战略转型与商业模式演进 - 合作标志公司从传统自动化设备供应商向“物理AI时代工业机器人平台型玩家”迭代，聚焦“智能化工业机器人+工厂物理AI平台”[1] - 长期看，工业机器人公司价值链从“卖硬件+控制器”转变为“硬件+算力订阅+数字孪生/仿真软件+AI模型服务”[2] - 合作奠定“按算力、按仿真、按软件订阅收费”的新物理AI平台商业模式基础[2][5] 业务基础与竞争格局 - 发那科业务增长基本盘是“数控系统+工业机器人+智能化机床”的工厂自动化设备业务线，是全球工业机器人和数控系统龙头之一[1] - 日本工业机器人领域竞争加剧，软银集团计划收购ABB旗下机器人业务部门，直接挑战发那科核心工业机器人业务[3] - 发那科工业机器人业务部门在2025财年占公司总销售额的40%[3] 行业需求与增长前景 - 合作为物流、食品、汽车总装等高度依赖人工的机器人技术环节打开新一轮自动化空间[2] - 在物流、食品和汽车产业最终装配工序或危险系数较高操作阶段存在需求大幅增长空间[3] - 新一代自主控制型工业机器人可能引发整体机器人需求激增[3] 财务表现与公司展望 - 公司第二季度净利润好于市场普遍预期，并显著上调2026财年业绩预期[3] - 公司表示将积极推进在生成式和物理AI领域的各类突破型创新举措[3] 物理AI技术范畴 - 物理AI强调让机器人在真实世界感知、推理并行动，工业仿真、数字孪生及复杂视觉计算是其核心范畴或底层支撑[4] - 英伟达Isaac Sim是基于Omniverse技术的物理仿真平台，用于在数字孪生中训练和测试机器人，是物理AI技术栈核心组件[4]

宏观经济背景 - 2025年10月24日美国股市创下历史新高，主要因通胀数据低于预期提振了投资者情绪，市场希望美联储能继续降息以支持经济[1] - 9月消费者价格指数月环比上涨0.3%，年通胀率为3%，低于道琼斯调查经济学家预测的月环比0.4%和年率3.1%[2] - 9月核心CPI月环比为0.2%，12个月基准为3%，分别低于道琼斯调查预估的0.3%和3.1%[3] - CPI数据公布后，交易员对美联储在2025年最后两次会议上降息的信心增强，12月降息概率从约91%跃升至98.5%[3] - 道琼斯工业平均指数在10月24日上涨1.01%至47,207.12点，首次突破47,000点；标普500指数上涨0.79%，纳斯达克综合指数上涨1.15%[4] - 过去6个月道琼斯指数上涨17.35%，标普500指数上涨22.84%，以科技股为主的纳斯达克指数上涨33.62%[4] 宣伟公司 - 宣伟公司被华尔街分析师列为最佳道指成分股之一，平均目标价上行潜力为15.23%[10] - 截至2025年第二季度，共有67家对冲基金持有该公司股份[10] - 富国银行于10月10日将宣伟公司目标价从400美元下调至395美元，但维持超配评级[10] - 尽管涂料部门面临持续挑战，但富国银行指出其盈利表现远优于行业多数公司，并保持长期积极展望[11] - 宣伟公司是一家美国企业，从事油漆、涂料及相关产品的制造、开发、分销和销售[12] 英伟达公司 - 英伟达公司被华尔街分析师列为最佳道指成分股之一，平均目标价上行潜力为15.46%[13] - 截至2025年第二季度，共有235家对冲基金持有该公司股份，在列出的公司中数量最多[13] - 10月20日，英伟达宣布与谷歌云合作，旨在扩大加速计算的可及性，变革企业工作负载全谱系，并加速企业AI和工业数字化[13] - 谷歌云宣布正式推出采用英伟达RTX PRO 6000 Blackwell服务器版GPU的G4虚拟机，并将英伟达Omniverse和Isaac Sim作为虚拟机镜像在谷歌云市场上提供[14] - 此次合作将帮助制造业、汽车业和物流业等主要行业解锁物理AI驱动应用，为企业提供一个多功能、强大的多工作负载平台[15] - 除了Omniverse，谷歌云用户还能利用完整的英伟达软件堆栈来加速代理AI、科学和高性能计算、设计与视觉计算等高需求工作负载[15] - 英伟达是一家美国跨国科技公司，以生产图形处理器、AI硬件和软件以及高性能计算解决方案而闻名[16]

仿真与现实鸿沟（Sim2Real Gap）的挑战与重要性 - 机器人学习面临的核心问题是仿真与现实世界之间存在显著差距，具体体现在感知差距（如视觉、触觉信号差异）、物理交互差距（如物体受力反馈、形变偏差）以及场景复杂度差距（如难以复现真实世界的动态变化）[3][4] - 该鸿沟导致在仿真环境中训练的机器人程序难以直接适配并应用于真实场景[4] - 与主要依赖视觉的自动驾驶仿真相比，机器人领域的仿真挑战更大，因其涉及物理接触、操控，并需结合灵巧手和触觉传感器，问题复杂得多[9] 仿真与合成数据作为解决方案 - 现实中手动采集机器人数据成本高、效率低且存在安全风险，而仿真被认为是突破此数据困境的关键路径[7] - 由于机器人数量有限，难以像自动驾驶汽车那样大规模采集现实数据，因此必须使用合成数据，并坚信合成数据将是解决物理AI数据壁垒最重要、最主要的数据来源[9] - 通过仿真可生成上千种模型并设置不同物理参数，使机器人在几天内完成相当于现实几年的训练量，例如训练机器人叠衣服[12] - 生成式AI技术（如3D计算机视觉、视频生成、3D世界生成）有望提升仿真真实感，优化视觉渲染和物体细节，减少感知差距[6] 英伟达的“三台计算机”战略布局 - 公司致力于打造机器人可学习的“虚拟地球”，其技术体系可通过“三台计算机”的逻辑理解，Sim2Real是串联三者的核心纽带[10] - **AI超级计算机**：是让机器学会处理信息的基础，为机器人核心程序提供算力支撑[10] - **仿真计算机**：以Omniverse和Isaac Sim为核心，让机器在虚拟世界中掌握感知与交互能力，其关键难点在于物理交互，例如电缆、电线仿真是亟待突破的“圣杯级”难题[11] - **物理AI计算机**：由GROOT（通用机器人基础程序）、Cosmos（世界模型）和Jetson Thor（机器人端侧芯片）构成，负责让机器人在真实世界中执行任务，其中Cosmos是衔接仿真与现实的关键环节，能像数据放大器一样生成更多样、更贴近真实情况的数据[11][12] 英伟达与光轮智能的合作关系 - 光轮智能与公司的Sim2Real技术路线高度契合，双方已形成技术共生关系，光轮智能是少数能在物理精度、交互逻辑、场景多样性上全面匹配公司物理智能生态需求的合作方[12] - 公司正重点推进物理AI（含机器人、自动驾驶、数字孪生）的技术落地，核心痛点是缺乏海量真实、多样化的物理交互数据，需要能稳定输出高质量数据的“合成数据工厂”以及愿景一致的合作伙伴，而光轮智能成立的时机恰好满足此需求[15] - 双方对SimReady资产有共识，认为其不仅是数字3D模型，还必须具备真实的物理属性（如冰箱铰链的阻尼、微波炉材质的摩擦系数），光轮智能的核心工作是通过专业设备采集真实物理数据并植入SimReady资产，确保物理属性匹配[16] 英伟达物理智能的全链路体系 - 公司正构建物理智能全链路体系，包括OpenUSD（3D数据标准）、SimReady（仿真资产标准）、Newton（物理计算）、Cosmos（世界模型）[16] - Sim2Real的关键不是让虚拟复制现实，而是通过场景随机化、参数调整让虚拟覆盖现实，使机器人在虚拟中接触足够多的意外情况，从而能在现实中应对自如[12] - 与斯坦福合作的“OmniGibson”仿真引擎已能支持刚体物理、可变形物体（布料、流体）交互，以及物体的加热、切割等复杂状态模拟[6]

行业核心观点 - 具身智能行业正处于技术路线分歧与探索阶段，面临数据稀缺、技术架构选择等关键议题 [1] - 行业已初步观察到具身智能的Scaling Law，预示扩大模型和数据规模可能有效 [24] - 阿里云作为云计算巨头，提前布局行业未来3到5年的基础设施需求，旨在为行业爆发做准备 [3] 数据路线之争：真机派 vs. 合成派 - 真机派主张通过遥操或互联网获取真实数据，基于VLA做模仿学习，认为真实数据是训练世界领先模型的根本 [5][14] - 合成派认为实现通用泛化能力需上万亿条数据，真机采集不可持续，主张通过仿真合成数据进行预训练，再用少量真实数据后训练 [5][8][9] - 真机派挑战“真机数据昂贵”共识，指出在国内供应链支持下，单个机器人成本可降至10万以下，规模化部署机器人采集数据成本可控 [12] - 合成派面临挑战：某些仿真数据获取依赖专业人力（如图形学博士），成本可能更高；仿真数据效率可能比真实数据差5-6个数量级 [11] 技术架构与模型形态 - 具身智能大模型被视为独立于语言模型的基础模型，因其需处理物理动作和接触的复杂性 [18] - 技术架构存在端到端与分层路线之争：分层架构考虑现实部署约束，符合生物进化规律；端到端架构旨在避免分层错误放大和层间理解鸿沟 [19] - 视觉语言动作模型（VLA）被视为当下更有潜力的路线，仅需100条数据即可见效，而世界模型需万级至亿级数据量，是更终局的路线 [21] - 世界模型被赋予重要作用，如辅助VLA进行自主学习探索、生成动作序列补充数据，与VLA是互补而非冲突关系 [20] 行业发展趋势与阿里云的角色 - 行业落地速度加快，多家公司分享了在工业制造、康复陪伴、教育竞赛等场景的实践 [24] - 阿里云基于智能驾驶行业经验，提前为具身智能行业的数据指数级增长和算力需求布局，提供全链路基础设施支持 [3][31][32] - 阿里云具备模型原厂优势，其开源模型Qwen-VL被大量具身智能公司用于后训练，最新Qwen3-VL模型针对具身智能需求优化 [37][38] - 阿里云将智能驾驶领域的工程经验复用至具身智能，提供从数据处理、模型服务到工具链集成的全套云上能力 [35][41][42] - 公司建议具身智能企业从第一天起规划云架构和AI基础设施，以应对量产阶段的数据激增和工程化挑战 [29][42]

神经渲染技术在仿真领域的应用 - 神经渲染技术（NERF/3DGS）通过神经网络表达空间，在新视角合成方面表现优越，直击辅助驾驶和具身智能仿真中传感器仿真的痛点，可解决传统计算机图形学渲染图像缺乏真实性的问题，广泛应用于算法闭环测试和训练 [3] - 现有研究围绕NERF和3DGS技术开发面向闭环测试的仿真框架，但完全新开发仿真框架工作量巨大，因此另一种思路是将训练好的NERF/3DGS模型嵌入现有仿真软件框架，以利用现有3D数字资产和算法接口工具链 [3] 技术集成与工具支持 - LumaAI的3DGS插件可将高斯点云ply插入基于Unreal的CARLA游戏引擎，而NVIDIA的Isaac Sim仿真软件也已支持神经渲染技术，允许插入3DGS模型 [4] - NVIDIA开源项目提出三维高斯渲染方法，可输出适用于Isaac Sim的usdz模型，3DGRUT工具支持将其他3DGS方法生成的高斯点云ply转化为usdz模型 [4] - 3DGRUT生成的usdz模型文件包含default.usda、gauss.usda等描述文件和nurec格式模型文件，可直接解压使用 [4] Isaac Sim中的操作流程 - Isaac Sim的神经渲染功能NuRec需5.0.0以上版本（Omniverse Kit 107.3以上），安装后可通过Content栏导航到usdz模型解压文件夹，将gauss.usda拖动或插入Stage，即可显示三维高斯模型 [5] - 导入的3DGRUT模型仅具备视觉特征，需通过2DGS等方法提取场景mesh（ply格式），并调整mesh的scale和位姿以匹配usdz渲染结果 [6][7] - 需将usdz模型与mesh绑定，在gauss的Property中选择Raw USD Properties，找到proxy并添加Target，选择mesh对象，最后勾选omni:nurec:useProxyTransform特性以实现对齐 [7] 物理属性与交互功能 - 需为mesh添加物理属性，右键选择mesh，在Add中选择Physics->Collider，以增加碰撞属性，避免物体穿透问题 [8] - 在mesh的Property中勾选Matte Object，配合DomeLight光照实现光影交互效果，同时可添加OmniPBR材料并将Reflectivity中的Specular降至最低，减少不必要的反光 [8] - 添加Rigid Body with Colliders Preset属性后，可进一步设置质量等物理属性，使模型与仿真环境中的其他物体（如球体、地面）产生碰撞交互 [14] 动态物体与场景构建 - 通过3DGS方法训练场景（如mipnerf360的kitchen），使用在线工具编辑ply文件提取特定物体（如乐高推土机），再经3DGRUT转化为usdz模型，可实现动态物体导入 [11][13] - 将动态物体（如推土机）放入其他神经渲染场景（如garden或room），可实现模型间及模型与原生物体的动态交互，显存占用较低，在3090显卡上fps表现良好 [15][17] 未解决的问题与挑战 - 神经渲染模型间的光影交互关系尚未完全解决，例如推土机未在神经渲染背景中投下阴影 [18] - 仿真环境测试具体算法的效果尚未探究，例如在room环境中让VLA算法执行"捡起地毯上的乐高推土机"指令的可行性 [19] - 需解决如何快速提供rgb图像外的真值信息（如图像分割、对象标注标签），以及如何获取动态物体的物理属性真值（如硬度、摩擦系数、质量） [19] - 需进一步提升计算效率，以支持更大规模神经渲染场景和更多对象的实时仿真 [19]