自动驾驶VLA模型研究进展 - 端到端自动驾驶已成为主流范式 视觉-语言-动作(VLA)方法伴随具身智能兴起 相关论文横扫前沿领域 [2] - 主机厂如理想 文远知行 小米 小鹏等都在大力尝试VLA技术量产落地 [2] - 学术界和工业界涌现AutoVLA ReCogDrive等优秀工作 关注自适应推理 强化微调等方向 [3][7][9] 关键技术突破 - AutoVLA统一推理和动作生成 采用双重思维模式(快速/慢速思维)和GRPO强化微调方法 [3][4] - ReCogDrive采用三阶段训练框架 集成VLM与扩散规划器 PDMS达89.6创SOTA [7][9] - DriveMoE引入混合专家架构 包含场景专用视觉MoE和技能专用动作MoE 处理罕见驾驶行为 [19][21][22] - OpenDriveVLA通过分层视觉语言对齐和代理-环境-自我交互过程 实现轨迹规划SOTA [28][30][32] 数据集与基准 - Impromptu VLA数据集含8万+视频片段 覆盖4类非结构化场景 显著提升模型性能 [14][18] - DriveAction基准含16185个QA对 直接关联驾驶操作 支持全面评估VLA模型 [23][24] - 行业亟需更多高质量VLA基准 当前工作多基于nuScenes Bench2Drive等有限数据 [47] 行业应用趋势 - VLA模型输出形式向多模轨迹生成发展 文本输出逐渐被替代 [47] - 大规模自动驾驶预训练模型仍欠缺 多数工作依赖Qwen等开源模型 [47] - 时序处理能力待加强 需适配车端实时性要求 [47] - 小米 博世 清华等机构积极布局VLA研发 形成产学研协同 [7][14][19][28] 性能对比 - AutoVLA在nuPlan等基准上PDMS达92.12 碰撞率低于1% [5] - ReCogDrive在NAVSIM基准PDMS达89.6 超越前SOTA 5.6分 [9][10] - DriveMoE在Bench2Drive紧急刹车等场景能力提升显著 均值达47.91% [22] - OpenDriveVLA-7B在nuScenes开环规划L2误差仅0.66m 优于GPT-3.5等基线 [31]

点击下方 卡片 ，关注" 具身智能 之心 "公众号 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 一、研究背景与核心问题 长期记忆缺失 是当前具身智能体的关键瓶颈。尽管视觉语言模型（VLMs）在规划与控制任务中表现突 出，但其 处理跨时空的多模态观察数据 能力严重受限： 核心矛盾 ：具身智能需整合长期历史经验（如"找到昨天未整理的玩偶"），但缺乏针对性评估框架。 二、基准设计创新点 2.1 任务架构 作者丨 Karmesh Yadav等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 动态环境交互 记忆推理验证 输入限制 ：主流VLMs仅能处理数百张图像（远低于真实场景的千帧级输入） 评估缺陷 ：现有视频QA基准（如EgoSchema）依赖选择题形式，无法评估 物体操纵/导航 等需细粒 度推理的具身任务 记忆-动作脱节 ：传统方法孤立评估记忆召回与决策执行，忽视二者在具身环境中的耦合性 动态环境构建 ：脚本代理在Habitat模拟器中执行物体抓取-放置（Pick-and-Place），产生 ...

出发点与优化目标 - 导航是自主智能体领域的基础能力，需要融合空间推理、实时决策和环境适应能力，但人工系统复现这一能力仍面临巨大挑战 [4] - 传统导航方法存在泛化性差、可扩展性不足和部署困难等问题，因其依赖模块化设计和特定任务工程 [4] - 视觉语言模型（VLM）为导航领域带来新思路，但受限于空间粒度和上下文推理能力不足 [4] - DyNaVLM提出零样本、端到端导航框架，无需微调或接触导航特定数据即可直接作为导航策略使用 [4] DyNaVLM核心创新点 - 动态动作空间构建：通过视觉语言推理实现自由形式目标选择，摒弃固定运动原语，提升运动灵活性和导航效率 [6] - 协作图记忆机制：受检索增强生成（RAG）启发，开发动态知识图捕捉空间关系和语义对象信息 [8] - 无需训练的部署模式：无需任务特定微调即可直接应用于新场景，降低部署成本并提高泛化能力 [8] 系统架构与方法 - 问题形式化定义：输入包括目标描述、RGB-D观测和机器人位姿，输出为动作，采用极坐标参数化动作空间 [11] - 记忆管理器：维护动态知识图，实现持久空间知识表示、跨机器人记忆共享和上下文感知记忆检索 [12][13] - 动作Proposer：采用基于候选的离散化策略，将连续搜索空间简化为有限均匀采样点集合 [14] - 动作Selector：综合几何候选点、感知上下文和记忆生成最终导航动作，包括空间采样和安全感知过滤 [14][16] 实验评估 - 模拟环境评估：在ObjectNav基准上取得45%成功率和0.232 SPL，优于PIVOT和VLMnav等框架 [19][22] - 真实世界评估：部署在Unitree Go2机器人上，在定位多个目标任务中成功率和行进距离显著优于VLMnav [25][27] - 协作图记忆机制在长且复杂导航任务中表现关键，帮助跟踪已访问位置并有效规划未来移动 [22]

π₀模型结构 - 核心架构基于预训练视觉语言模型(VLM)和Flow Matching技术，包含VLM backbone、动作专家和跨具身训练组件[3] - 整合7种机器人、68项任务、超10,000小时数据，通过权重调整处理不同机器人的动作空间差异[3] - 训练流程基于PaliGemma VLM，融合多模态输入(图像编码器、语言编码器、proprioceptive state编码器)[3] - 独立子网络(3亿参数)负责将VLM输出转换为连续动作，采用流匹配技术生成高频率动作序列(最高50Hz)[3] π₀优势与功能 - 零样本直接执行任务，通过语言提示控制机器人无需额外微调[4] - 支持复杂任务多阶段微调，如叠衣服分解为多个步骤[4] - 语言指令跟随与高层策略集成，提升语义理解与任务规划能力[4] - 高频率精细操作(50Hz)适用于折叠衣物、组装盒子等任务[4] - 单模型适配多种机器人形态，降低部署成本[4] π₀性能分析 - 开箱即用性能：在餐桌清理等任务中指令跟随准确率比π₀-small高20%-30%[4] - 衬衫折叠成功率接近100%，远超OpenVLA[6] - 复杂清理任务正确分类物体数量比Octo高40%[6] - 预训练+微调流程实现60%-80%任务完成度，显著优于从头训练[7] π0.5模型结构 - 采用双阶段训练框架和分层架构，基于Transformer的视觉-语言-动作(VLA)模型[7][9] - 分层推理机制：高级语义子任务预测+低级动作生成[9] - 动作表示融合离散标记(FAST tokenizer)和连续表示(流匹配)[9] - 预训练阶段使用400小时移动机器人数据+非移动机器人数据+网页多模态数据[9] π0.5优势与功能 - 异构数据驱动泛化，实现从未见场景中的任务执行[13] - 长时程任务处理能力，支持10分钟以上连续操作[13] - 零样本语义理解，基于网页数据预训练理解未见过物体[13] - 在"盘子入水槽"等任务中成功率比π0高25%-40%[12] - 离散-连续动作混合训练比纯扩散模型效率高3倍[12] π0.5性能分析 - 真实家庭环境中多阶段任务成功率达60%-88%，任务时长10-15分钟[23] - 随训练环境增加性能持续提升，"整理床铺"成功率从30%升至80%[24] - 跨实体数据移除后任务性能下降20%-30%[24] - 网页数据对未知物体泛化至关重要，移除后成功率从60%降至30%[24] A0模型结构 - 采用分层架构设计：高层空间Affordance理解+低层动作执行[21] - 核心组件包括Position Offset Attention和Spatial Information Aggregation Layer[22][25] - 预训练与微调策略：100万接触点数据集预训练+标注轨迹数据微调[25] A0优势与功能 - 跨平台泛化能力，可在多种机器人平台无缝部署[26] - 高效空间推理，避免密集空间表示的高计算成本[26] - 数据利用效率高，少量任务特定数据即可适应新场景[26] - 可完成擦黑板、物体放置、开抽屉等需要空间推理的任务[26] A0性能分析 - Franka机器人平均成功率62.5%，开抽屉任务成功率75%[27] - Kinova机器人平均成功率53.75%，轨迹跟踪任务比基线高20%[27] - 擦黑板任务成功率比MOKA高15%-20%，比ReKep高约20%[27] - 在Kinova平台擦黑板任务中成功率50%，远超RDT-1B(10%)和π₀(35%)[27]

核心观点 - JarvisIR是基于视觉语言模型（VLM）的智能图像恢复系统，通过动态调度多个专家模型处理复杂天气下的图像退化问题，实现更鲁棒、更通用的图像恢复能力[5][9] - 系统在CleanBench-Real数据集上平均感知指标提升50%，显著优于现有方法[9][47] - 提出MRRHF对齐算法，结合监督微调与人类反馈，提升模型在真实场景下的泛化能力和决策稳定性[9][27] 方法详解 JarvisIR架构设计 - 核心思想是将VLM作为控制器，协调多个专家模型完成图像恢复任务[7] - 工作流程包括任务解析、任务规划、模型调度和结果整合四个步骤[10] - 首个将VLM作为控制器的图像恢复系统，能够自主规划任务顺序并选择合适的专家模型[9] CleanBench数据集 - 包含150K合成数据和80K真实世界数据，涵盖夜景、雨天、雾天、雪天等多种恶劣天气条件[12][15][18] - 每条训练样本是一个三元组（用户指令、退化图像、响应），支持训练与评估[18][19] - 填补了真实世界图像恢复数据的空白，推动社区发展[52] 两阶段训练框架 - 第一阶段监督微调（SFT）使用合成数据，目标是让VLM初步掌握图像恢复任务[23][25] - 第二阶段MRRHF对齐算法结合离线采样与在线采样策略，引入熵正则化项提升模型稳定性与泛化能力[27][30][33] - 总体损失函数由排名损失、微调损失和熵正则化损失三部分组成，协同优化模型[39][40] 实验与结果分析 决策能力对比 - JarvisIR-MRRHF在工具决策能力上显著优于其他策略，得分6.21，排名4.8%[44] - 优于随机顺序和模型、预定义顺序和模型以及人类专家等策略[44] 图像恢复性能对比 - 在夜景、雨天、雾天、雪天四种场景下均优于现有all-in-one方法[45] - 具体指标如MUSIQ在夜景场景达到67.25，雾天场景达到74.22，显著领先其他方法[45] 技术亮点总结 - 首次将VLM应用于图像恢复系统的控制中枢，具备强大的上下文理解和任务规划能力[52] - 提出MRRHF对齐算法，解决真实数据无标签问题，提升泛化能力[52][53] - 发布高质量数据集CleanBench，推动社区发展[52][53]

π₀模型结构 - 核心架构基于预训练视觉语言模型(VLM)和Flow Matching技术，包含VLM backbone、动作专家和跨具身训练组件[3] - 整合7种机器人、68项任务、超10,000小时数据，通过权重调整处理不同机器人动作空间差异[3] - 训练流程继承PaliGemma VLM的语义知识，融合多模态输入(图像/语言/物理状态)[3] - 独立子网络(3亿参数)将VLM输出转换为连续动作，流匹配技术实现50Hz高频率动作序列生成[3] π₀优势与功能 - 零样本直接执行预训练覆盖的语言提示任务(如"fold shirt")[4] - 支持复杂任务多阶段微调(如叠衣服分解为4个子步骤)[5] - 语言指令跟随能力可将高层任务(如"bus the table")分解为子任务序列[6] - 流匹配技术实现50Hz精细操作，适用于衣物折叠等高精度场景[7] - 单模型适配多种机器人形态，降低部署成本[10] π₀性能分析 - 开箱即用性能：在餐桌清理等任务中指令跟随准确率比π₀-small高20%-30%[11] - 微调效率：预训练类似任务仅需1-5小时数据微调，全新任务性能比从头训练提升2倍[11] - 复杂任务表现：叠衣服等任务通过"预训练+微调"实现60%-80%完成度[11] - 衬衫折叠成功率接近100%，复杂清理任务正确分类数量比Octo高40%[12] π0.5模型结构 - 采用双阶段训练框架和分层架构，基于Transformer实现多模态序列编码[13] - 分层推理机制：高级语义子任务预测+低级动作生成，结合离散/连续动作表示[16] - 预训练阶段使用400小时异构数据(97.6%非移动机器人数据)[16] - 后训练阶段引入动作专家模块优化实时控制，SigLIP视觉编码器(400M参数)+Gemma语言模型(2.6B参数)[16] π0.5优势与功能 - 异构数据驱动泛化：在未见过场景中执行任务，支持10分钟以上长时程操作[18] - 离散-连续混合训练比纯扩散模型效率提升3倍[17] - 多场景适应性：家庭环境清洁/整理任务，跨实体迁移学习能力[20] - 数据效率突破：仅用400小时移动数据(占2.4%)实现强泛化[21] π0.5性能分析 - 真实环境表现：未训练家庭中多阶段任务成功率60%-88%，单任务耗时10-15分钟[25] - 数据规模影响：104个训练位置时性能接近测试环境基线(差距<5%)[26][27] - 关键数据源：跨实体数据移除导致性能下降20%-30%，网页数据对未知物体泛化至关重要[28] A0模型结构 - 分层架构设计：高层空间Affordance理解+低层动作执行[29] - 核心组件包括Position Offset Attention和Spatial Information Aggregation Layer[30] - 预训练策略：100万接触点数据集预训练+标注轨迹微调[31] A0优势与功能 - 跨平台泛化：支持Franka/Kinova等机器人平台无缝部署[34] - 高效空间推理：通过接触点预测降低计算成本[34] - 数据利用效率：少量任务数据即可适应新场景[34] A0性能分析 - Franka机器人平均成功率62.5%，开抽屉任务达75%[35] - Kinova机器人轨迹跟踪任务成功率比基线高20%[35] - 擦黑板任务成功率比MOKA高15%-20%，执行步骤仅为RDT-1B的1/8-1/10[35]

核心观点 - 蚂蚁技术研究院联合中科院自动化所和香港中文大学开源ViLaSR-7B模型，通过"Drawing to Reason in Space"范式实现空间推理能力突破，在5个基准测试中平均提升18.4% [1][2][3] - 模型在VSI-Bench基准上达到45.4%准确率，与Gemini-1.5-Pro相当，显著超越Qwen2.5-VL-7B等开源模型（+12.7%）[4][26] - 采用三阶段训练框架（冷启动+反思拒绝采样+强化学习）系统化培养空间推理能力，强化学习使绘图操作效率提升159.4% [21][22][23][24][29] 技术突破 推理范式创新 - 提出"边看边画、边画边想"的交互式视觉推理范式，通过绘制辅助标注（参考线/标记框）保留空间信息，解决传统"视觉转文本"范式信息丢失问题 [17][20] - 相比OpenAI的"Thinking with Images"范式，ViLaSR支持多图场景下的连贯空间推理，动态追踪跨帧变化关系 [8][17][20] - 传统LVLMs因视觉编码器压缩丢失时空信息，ViLaSR在迷宫导航任务中准确率提升64.5%（达98.2%）[10][11][25] 训练方法 - 冷启动阶段：合成数据训练基础绘图操作能力（标注边界框/辅助线）[22] - 反思拒绝采样：筛选含修正行为的高质量样本，使反思行为频率提升9.1% [23][29] - 强化学习阶段：通过双奖励机制（结果+格式）优化操作策略，数值类任务性能提升9.21% [24][29] 性能表现 基准测试 - 迷宫导航（MAZE）：98.2%（超越GPT-4o 35.1个百分点）[25] - 静态图像理解（SpatialEval-Real）：63.9%（优于LLaVA-NeXT-Video-72B）[25] - 多图像推理（MMSI-Bench）：30.2%（较SpaceR-7B提升3.3%）[25] 类人能力 - 参考物度量推理：主动识别已知尺寸物体进行比例换算 [30] - 跨帧对象追踪：系统性标注多帧中相同物体建立时空关联 [32] - 案例显示模型可自主修正错误路径，推理步骤减少4.07% [29][33] 行业影响 - 为机器人导航、虚拟助手等空间智能应用奠定技术基础 [34] - 突破视觉语言模型在多图/视频场景的时空关联限制，推动多模态推理向高效性发展 [16][34] - 开源模型ViLaSR-7B代码及论文已公开，加速行业技术迭代 [35]

公司信用评级调整 - 主体长期信用等级由A+下调至A [1] - "丝路转债"信用等级由A+下调至A [1] - 评级展望维持稳定 [1] 经营状况 - 2024年营业总收入同比下降58.91%至5.88亿元 [3] - 综合毛利率由29.91%降至-15.74% [3] - 利润总额由盈利0.20亿元转为亏损4.23亿元 [3] - 2025年1-3月亏损幅度同比收窄61.09% [5] 财务表现 - 2024年经营活动现金流由净流入0.16亿元转为净流出1.42亿元 [3] - 资产负债率由56.78%升至67.63% [3] - 应收账款计提坏账准备比例达37.19% [3] - 现金短期债务比由2.66倍降至1.92倍 [3] 行业分析 - CG行业市场集中度低，竞争激烈 [6] - 2024年数字创意产业收入增长9.8%至5.91万亿元 [10] - 面临同业、跨行业及国际企业三重竞争 [11][12] - 政府预算下降导致项目延期或取消 [3] 业务发展 - 数字化展览展示业务收入占比77.73% [3] - 截至2025年3月底在手合同103个，未确认产值7.42亿元 [5] - 华南地区收入占比82.73% [24] - 前五大客户销售占比25.67% [26] 债务情况 - 存续债券"丝路转债"余额2.39亿元 [7] - 全部债务由5.04亿元增至5.70亿元 [3] - EBITDA利息倍数由4.53倍降至-18.69倍 [3] - 获得授信额度14.28亿元，未使用10.97亿元 [34]

行业趋势 - 机器视觉作为智能化生产的重要组成部分，市场潜力与发展前景正引起广泛关注 [1] - 2025年《政府工作报告》将具身智能与生物制造、量子科技、6G一起列为需要重点培育的未来产业 [1] - 3D视觉技术成为决定机器人智能化水平的关键一环，能够实时采集空间、人体、物体三维数据 [1] - 3D视觉感知技术是人工智能时代的关键基础共性技术，支撑三维扫描、3D打印、MR/AR/VR等应用及元宇宙发展 [1] - 全球机器人产业正经历从专用领域向通用化、拟人化发展的深刻变革 [2] 公司概况 - 奥比中光是国内最早深耕机器人视觉赛道的企业之一，自2016年起为服务机器人提供3D视觉感知能力 [2] - 2022年公司专门为机器人业务设置产品线，加大对机器人业务的布局 [2] - 在中国服务机器人3D视觉传感器领域，奥比中光市占率超过70%，领跑全球3D视觉感知市场 [2] - 公司在服务机器人领域的优势助推了工业、人形机器人等领域的商业化落地 [2] 财务表现 - 2024年第一季度公司实现归属于母公司所有者的净利润2431.50万元，较上年同期增加5309.57万元，实现扭亏为盈 [2] - 预计2025年1-5月累计实现营业收入约3.63亿元，同比增长117.18% [2] - 预计2025年1-5月归属于母公司所有者的净利润约5500万元，较上年同期增加8643.86万元 [2] 政策支持 - 国务院办公厅《关于做好金融"五篇大文章"的指导意见》明确将科技金融列为支持新质生产力发展的核心方向 [2] - 2022年4月国务院提出加快制定面部识别、指静脉、虹膜等智能化识别系统的全国统一标准和安全规范 [3] - 2024年6月发布的《国家人工智能产业综合标准化体系建设指南》提出规范人工智能应用在移动终端领域的技术要求 [3] 行业展望 - 以奥比中光为代表的底层技术企业将推动机器人视觉感知技术加速突破与应用普及 [3] - 相关技术进步将助力智能机器人产业形成可持续的商业正循环 [3]

具身智能与VLA模型技术发展 核心观点 - VLA模型（视觉-语言-动作模型）是整合视觉、语言和动作的多模态模型，推动机器人从"看得见"、"听得懂"迈向"动得准"的新阶段 [1] - 2022年Google和CMU的"SayCan"、"Instruct2Act"工作首次实现Transformer模型同时处理视觉、语言和动作轨迹生成，2023年谷歌DeepMind的RT-2模型进一步实现端到端动作生成 [1] - VLA模型被视为端到端大模型2.0，其核心优势在于拟人化推理与全局理解能力，显著缩短指令理解与任务执行的距离 [2][3] 技术框架与特性 - **核心组件**：视觉编码器（提取图像特征）、文本编码器（处理指令）、动作解码器（输出10-30秒动作路径） [2] - **四大特性**： 1 架构继承（仅新增动作输出模块） 2 动作token化（将动作转化为语言形式表示） 3 端到端学习（感知-推理-控制一体化） 4 可泛化性（预训练VLM支持跨任务迁移） [4] 行业应用与挑战 - **商业化进展**：2025年起多家公司发布自研VLA模型，双系统架构（分离VLM与动作执行模型）成为主流技术路径 [5][6] - **数据瓶颈**：训练需大规模多模态同步数据，但硬件商用不足导致数据采集成本高，依赖专家数据集限制复杂任务表现（如RT-2难以处理"准备早餐"等多步骤任务） [7] - **技术缺陷**：缺乏长期规划能力，VLM（大脑）与动作模型（小脑）连接依赖语言指令直接映射，时序处理不足导致长流程任务中易出现步骤遗漏或逻辑混乱 [7] 行业生态与趋势 - **主流玩家分类**：涉及五类企业，技术方案涵盖双架构VLA模型等5大类方向 [5] - **赛道热点**：车企、产业链公司及智驾从业者加速涌入，技术路线聚焦"大脑优先"与"运动优先"之争 [5] - **落地场景**：需突破灵巧手等执行端技术（被称为机器人"最后一厘米"），解决商业化卡点 [5]