Workflow
VLA(视觉-语言-动作)模型
icon
搜索文档
物理AI和具身行业展望
2026-11-15 21:53
物理AI与具身智能行业电话会议纪要关键要点 一、涉及行业与公司 - 行业聚焦具身智能与物理AI领域,核心议题为仿真数据驱动Sim-to-Real突破与商业化落地趋势[1] - 涉及公司包括苹果(Project HELO)、宇树科技、智元、银河通用、特斯拉、英伟达、谷歌DeepMind、Covariant AI、Physical Intelligence、Anthropic、Figure AI、阿里巴巴、字节跳动、智源人工智能研究院、千寻智能、起源、傅利叶智能、瑞芯微等[3][7][8][9][21][23] 二、核心观点与论据 (一)Project HELO技术架构与仿真数据价值 - Project HELO验证了仿真数据底座在具身智能中的核心地位,通过分层架构与50Hz实时跟踪器弥合Sim-to-Real差距,实现陌生场景90%任务成功率[1] - 技术架构分三层:第一层通过VLA模型进行任务拆解;第二层利用扩散模型在仿真环境中生成时长约5秒的全身动作轨迹,程序化生成上千套不同场景并对光照、色彩、噪声等随机化处理,自动筛减碰撞等不合理动作数据;第三层在机器人上运行50赫兹跟踪器,利用深度相机和本体传感器数据实时纠偏[2] - 基于300小时全仿真数据,模型在宇树G1机器人上进行零样本测试,6个陌生房间中单次任务成功率达90%,长链式任务成功率约70%[4] - 仿真数据有效性前提:硬件参数需与物理机器人对齐、包含物理校验、配套真机闭环系统,并非简单渲染图像或视频[4] - 真实数据在摩擦、形变、触觉等仿真难以1:1复刻方面具有不可替代价值,尤其精细操作、柔性物体处理和力控任务最终仍需真实数据对齐,但真实数据获取成本高昂、效率低下且设备存在损耗[4] - 行业头部采购方向以仿真为主,强调仿真与真实数据双向闭环,通过CM仿真底座批量产出全身仿真数据,同时利用真实机器人传感数据和物理参数反向校准仿真环境[4][5] (二)仿真数据商业模式与需求空间 - 基础EAGLE仿真数据价格约每小时30-40元,特定场景定制化需求约每小时80-100元[6] - 初创公司验证VLA模型驱动机器人执行简单任务约需200小时经对齐仿真数据;执行长任务链达到Project HELO演示效果需2000-3,000小时仿真数据,其中需混合不同场景和随机化扰动,并配合少量(如几十小时)真实机器人数据最终校准[6] - 当前客户主要涵盖大型模型公司和机器人本体厂商,大型模型公司普遍以数十万小时框架采购,宇树科技和智源人工智能研究院采购量也较大,同样以数十万小时数据框架为基础,按阶梯或时间进度采购,金额规模通常在数千万元级别[6] - 预计2027年高质量且与本体对齐的仿真数据需求达400万至500万小时,2028年迈入千万小时门槛[1][19] - 增长驱动力包括:机器人本体厂商和大模型团队迭代技术需大规模采购完成仿真预训练;工厂定点工位试点和放量每个工位需定制化场景数据;出海业务为确定增量市场但仅限于带本体对齐可实现Sim-to-Real的高价值仿真数据[19] - 到2028年随着闭环工位批量落地和世界模型普及,对预演样本需求进一步大幅提升,推动有效数据小时数达千万级别[20] (三)技术范式演进:VLA向世界模型(WM) - 英伟达GR00T和Cosmos代表从VLA向WM路线升级,构成面向全行业的基础底座和数据生成工具包,开源将大幅降低初创团队入门门槛,但提供的是通用技术而非可直接上岗的成熟大脑,用户仍需本体对齐和真机微调[17] - GR00T 0.1采用VLA直接根据视觉输入输出动作;GR00T 0.2集成WM一边预判世界状态演变一边同步输出动作,即在大脑中预演多种可能性选择最优方案后执行物理动作,依赖Cosmos世界模型进行视频物理预测,利用大量人类第一视角视频和少量机器人遥操作数据训练,旨在实现跨本体学习和少量样本学习[17] - Cosmos作为通用基座未针对特定机器人绑定,直接应用于宇树科技或傅利叶智能等机器人可能出现动作不稳定或超出关节限位问题,需本体适配和少量真机数据微调;其在视觉预判、灵巧操作泛化、力控、触觉及长期闭环等方面仍需持续补充;预训练数据主要来自不含机器人关节数值、摩擦、接触形变等物理信息的人类视频,Sim-to-Real转换存在天然差距[17] - 英伟达定位为全行业提供底层基座与仿真工具链,而非与头部机器人公司竞争成品机器人大脑订单[18] - 短期两种技术路线各自发展:VLA路线原生对齐机器人本体、传感器跟踪闭环效果好、可直接输出稳定动作,适合全身移动交互任务;世界模型路线"先思考再行动"模式在处理复杂或长链条灵巧操作任务时可减少样本依赖、提升泛化能力,但通用技术天生不带本体对齐,直接应用于真机时Sim-to-Real差距较大[18] - 中长期行业趋向融合方案:以VLA作为动作执行主干,世界模型作为前置"预言家"进行校验,流程为接收指令后世界模型内部预演多条可能路径、剔除不合理方案、筛选最优解,交由已与本体对齐的VLA生成精确动作轨迹,底层控制系统跟踪闭环执行确保稳定性;英伟达GR00T 0.2已体现该框架雏形[18] (四)商业化门槛与时间线 - 真机长链任务稳定率需达60%方可"上岗",且任务失败后需具备自动重试与自我恢复能力;工厂产线批量商业化应用需达75%以上稳定通过率,同时不能依赖频繁人工干预[1][15] - 仿真环境90%以上成功率仅代表模型在固定评测环境学习效果良好,不等同于真实世界稳定工作及格线[14][15] - 工业封闭场景预计2年内落地,通用泛化场景需5年以上[1] - 固定封闭场景预计两年左右可实现机器人稳定运行;泛化场景(未经训练陌生环境中通过语音指令自主完成任务且成功率达80%以上)可能需要五年甚至更长时间[16] - 工业应用未来两年内机器人有望替代工厂中约30%至40%的简单工序和工位,但不能完全取代所有工业岗位[16] (五)竞争格局 - 国内第一梯队:智源人工智能研究院同时进行本体和大脑研发产品相对较智能;模型层面银河通用和千寻智能表现突出;大型科技公司中阿里巴巴和字节跳动具身智能模型团队位列头部,但主要研发方向是大模型本身而非专门针对机器人[7] - 海外领先者:谷歌DeepMind凭借V-ROA模型在跨本体适配、全程控制和零样本操作方面表现强劲;其次为Covariant AI和Physical Intelligence的Pi系列基础模型;Anthropic的Claude 3.5 Sonnet、苹果ReALM模型以及Figure AI和特斯拉也处于行业前沿但相对稍靠后[8] - 智元主攻工业落地,银河通用侧重仿真合成数据与零样本抓取;海外谷歌、苹果在物理建模与范式创新上保持领先[3] - 宇树科技定位全球通用硬件底盘,受益于开源模型普及,但面临硬件壁垒非断层领先及低价竞争风险,需通过真机数据飞轮加高护城河[3] - 智元"远征G"系列采用原生世界动作模型,将世界推理、动作生成、感知和预判整合在同一链路,优先落地工厂以生产力为核心;起源主打消费级市场面向家庭场景,采用"快慢脑分离"架构,"快脑"(小脑)负责执行、"慢脑"(大脑)负责思考,技术重心在柔顺交互、家务处理和安全交互[21][22] - 银河通用核心技术"银河心脑"为将大脑、小脑及神经控制一体化的端到端世界模型,预训练高度依赖海量仿真合成数据,真实世界数据仅用于最后微调对齐;技术优势在于处理陌生物体、光照变化下零样本抓取及透明件和小物体处理,公开基准测试泛化分数较高;利用立体视觉解决抓取落空问题,实现无需预先建图纯视觉端到端导航;产品包括轮式双臂机器人和S1重载轮式机型,未涉足双足人形本体;商业模式倾向通用大脑供应商和场景运营商,落地场景集中在无人零售仓、无人便利店和无人药房分拣等城市服务场景[23] - 中国在工业封闭场景量产交付和成本控制方面具有领先优势,得益于强大供应链体系;以智元为代表国内厂商通过将机器人先行部署到工厂在实际运行中持续收集失败样本迭代,工业场景落地速度较快;但在高端算力、通用开放场景适应性及原始范式创新方面国外仍领先,谷歌、苹果、英伟达更侧重物理建模和模型预演,在算力底座、高端训练芯片和仿真工具链上优势明显[22] - 从工业场景机器人稳定上岗、批量出货和商业闭环狭义角度看,以智元为代表中国企业在未来2-3年有机会在特定场景取得领先;但从零样本适应陌生环境或处理复杂居家任务等通用性维度衡量很难超越国外水平[22] (六)各公司模型性能表现 - Hello Robot在仿真任务中成功率可达90%,陌生房间等真实场景下降至70%,通用场景中已属较高水平;特斯拉Optimus在未见过的场景中成功率可能仅为30%至50%;Physical Intelligence的PI 5.2模型在开放真机场景中智能水平大约在50%上下,难以达到70%水平[15][16] - 谷歌在产线固定分拣等任务上通过反复迭代可将成功率提升至96%;宇树科技机器人在便利店场景中经过数天连续闭环运行,任务成功率从初期20%-30%稳定提升至85%左右,但这类高成功率依赖大量真实场景数据反复训练,属针对特定场景优化而非通用泛化能力[16] - 特斯拉采用全栈闭环研发模式,模型和本体均自主研发,技术路线为纯视觉端到端方案,利用自有工厂场景和真机数据飞轮迭代,工程化能力显著优势;应用场景优先服务自家工厂,短期内不会为全行业提供通用模型;在工厂等特定环境处理固定物料、拧螺丝、搬运等重复性任务时表现出较强稳定性、抗干扰性和动态平衡能力;但置于居家等更复杂场景或面对未见过的物体时泛化推理能力较谷歌V-ROA或苹果ReALM稍弱[12] - Anthropic的Claude 3.5 Sonnet在RoboTool测试中取得64.9%高分,远超前代Claude 3.1的27%和GPT-4o的30%,并非通过大量机器人专项数据训练而是通用大模型能力溢出结果,核心优势在于更强空间推理能力、长时序规划能力并辅以动作翻译层兜底;模型本身只负责输出下一步做什么及目标位置,由翻译层将语言和空间指令转化为可执行动作轨迹并加入碰撞检测和边界校验;训练过程仅混入少量物理交互仿真任务样本进行对齐以建立像素到动作的"语感"而非全量具身预训练;本质是通用大模型注重推理规划,机器人控制为附加能力,必须依赖翻译层,在精细高频力控和连续稳定闭环方面相对吃力,真实世界长时间工作稳定性和容错率预计相对较差[12][13] - 苹果ReALM模型原生为Sim-to-Real和全身控制设计,模型直接输出动作,在仿真环境中对齐本体传感器和跟踪闭环,真机仅作为纠偏角色[13] (七)宇树科技发展前景与风险 - 宇树科技定位标准化硬件供应商,致力于成为全球通用集成硬件载体,商业模式不依赖自研大脑,受益于仿真技术和开源模型普及[10] - 短板在于上层大模型需依靠生态系统弥补;发展路径两个方向:销售硬件、自研提升模型并开源征集数据集[10] - 潜在风险:随着上层模型增多和开源行业竞争加剧,若其他厂商推出运动性能接近、价格更低的开放式人形机器人,宇树溢价空间可能受挤压,硬件本身技术壁垒并非断层式领先;行业更看重真机数据飞轮与仿真路线互补而非单纯依赖仿真[10] - 宇树WLA版本模型使用超过2000小时真机数据集,数据相关研发费用投入规模大致在5,000万至7,000万元人民币级别[11] - 苹果选择宇树机器人作为研究外部硬件平台,主要因宇树在运动控制领域技术实力较强,其机器人产品是市面上可采购到、接口开放、运动底盘稳定的标准化平台,适合用作科研验证载体[9] (八)仿真器技术架构 - 仿真主体基于全栈自研仿真底座而非直接使用Omniverse作为主仿真引擎,该底座兼容OpenUSD和Omniverse实现生态打通和资产相互导入导出,属协作关系而非底层依赖;物理求解、传感器仿真、人体对齐增值输出及大规模并行生成等核心部分均为自研,"测量-生成-求解"体系专门针对机器人训练及Sim-to-Real回流优化[19] (九)端侧算力芯片 - 当前算力基本够用,英伟达Jetson Orin代表芯片能运行主流高阶具身模型;更小型端侧芯片如瑞芯微RK35系列主要用于执行感知或简单任务[20] - 运行Cosmos或GR00T 0.2这类原生世界模型,RK35系列端侧芯片算力不够,必须通过拆分架构、分层计算解决;底层"小脑"部分对算力要求不高但对时延要求严格;中层AI动作策略使用20-30亿参数VLA模型即可完成单步抓取等任务;Jetson Orin级别芯片可运行Hello模型并结合轻量化VLA完成简单任务闭环再配合Cosmos预演;单颗RK35系列芯片无法满足运行Cosmos需求,即使裁剪版本也不可行[20] (十)触觉数据 - 长期看触觉数据至关重要,是机器人在家庭或工业场景完成精细操作的必要条件,但当前工业应用中触觉使用比例并不高[24] - 数据采集主要难点:各家方案不一,单点试点采集数据不成体系导致数据难以互通,存在采集效率低、传感器一致性差、漂移大、缺乏统一标准等问题,A公司数据B公司模型无法使用[25] - 采集方式两种:触觉手套由人操作同步采集视觉、位置和触觉信息;机器人灵巧手自主采集[25] - 预计触觉数据规模化爆发与应用场景成熟同步:第一个时间点可能在2028年左右主要应用于工业闭环场景如精密装配、锂电和3C产品插接等,任务固定物料可控场景下传感器可先在指尖部署控制成本;第二个更重要爆发点预计2030年左右,届时传感器成本、一致性和数据标定标准等问题得到解决,通用开放场景需求推动触觉数据大规模增长[25] 三、其他重要但可能被忽略的内容 - 不同机器人本体训练数据不能直接通用,因关节范围、运动学、传感器和控制参数存在差异,宇树G1数据直接用于其他型号效果会受影响;但可通过分层处理兼顾适配效率和迁移效果:第一层通用资产和任务库(场景、物体、任务逻辑、语言指令等通用元素构建标准化资产库),第二层本体适配层(仿真平台预封装不同机器人本体模板,运动学、传感器、控制参数做成可配置软件包,更换本体时仅需更换配置包而无需重新搭建整个环境和任务)[5] - 仿真数据即便再好最终仍需少量真机数据校准,这对拥有真机数据的厂商是一个优势[10] - 宇树科技能否长远发展决定性因素在于是否能持续保持开放稳定供货能力并不断加高运动控制领域技术壁垒[10] - 英伟达开源降低行业门槛但Cosmos作为通用基座并未针对特定机器人绑定,直接应用可能出现动作不稳定或超出关节限位问题[17] - 出海业务为确定增量市场但仅限于带本体对齐可实现Sim-to-Real的高价值仿真数据,低价值渲染数据出海难度较大[19][20]