以下文章来源于智驾最前沿 ，作者陈云培 智驾最前沿 . 自动驾驶领域专业的技术、资讯分享全媒体平台。我们的slogan是：聚焦智能驾驶 ，紧盯行业前沿。 作者 | 陈云培 来源 | 智驾最前沿 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享，如有侵权，联系删文 自动驾驶车辆要在复杂多变的道路环境中安全行驶，不仅需要 "看见"前方的车辆、行人和路面标志，还需要"读懂"交通标识上的文字提示、施工告示牌和乘客 的语言指令。 之前 和大家讨论过 VLA ， 了解到 视觉 -语言-动作模型 ，但在很多场景中，大家还会提到 VLM，看起来与VLA非常类似，那VLM又是个啥？ 与VLA （ Vision-Language-Action，视觉-语言-动作） 又有什么区别？ 什么是VLM? 如何让VLM高效工作？ VLM可以将一帧原始的道路图像转换为计算机能处理的特征表示。这一过程通常由视觉编码器完成，主流方案包括卷积神经网络（CNN）和近年来兴起的视觉 Transformer（ViT）。它们会对图像进行 ...

研究背景与挑战 - 机器人操作系统需依据传感器输入和语言指令生成精确控制信号，但大规模视觉-语言模型(VLMs)因参数庞大和推理速度慢，限制了高频控制任务的实用性[9] - 现有双系统结构(系统1快速执行/系统2深度推理)存在协同效率低下问题，系统1无法充分利用系统2的语义推理结果[9] 技术方案创新 - FiS-VLA通过将VLM末端Transformer层重构为系统1执行模块，实现快慢系统一体化设计，系统2低频处理2D图像/语言指令，系统1高频响应实时感知输入[11] - 采用异构模态输入设计：系统2接收语言指令与2D图像，系统1接收2D图像/机器人状态/3D点云信息[15] - 双系统协作采用1:4频率比，系统2每运行一次可为系统1后续H步动作生成提供约束[14] 架构与训练 - 基于Prismatic VLM架构，包含SigLIP+DINOv2视觉编码器、LLaMA2-7B语言模型(最后n层Transformer用于系统1)、轻量级3D tokenizer[13] - 系统1采用扩散建模增强动作生成能力，系统2保留自回归推理能力，联合优化训练使用86万条轨迹数据[15][16] 性能表现 - 仿真测试：RLBench任务平均成功率69%，显著优于CogACT(61%)与π0(55%)，控制频率达21.9Hz(CogACT的2倍)[18][19] - 真机测试：Agilex与AlphaBot平台平均成功率分别达68%与74%，在"倒水"等高精度任务中优势显著[20] - 泛化能力：面对未见物体/复杂背景/光照变化时，FiS-VLA准确率下降幅度(19%-31%)远小于π0(27%-46%)[23][24] - 消融实验：共享2层Transformer时性能最佳，单步预测8个动作理论控制频率达117.7Hz[25] 应用前景 - 通过统一VLM嵌入执行模块实现推理与控制融合，具备高频(117.7Hz)/高精度/强泛化特性[29] - 未来引入动态调整共享结构与协同频率策略可进一步提升自适应性与鲁棒性[29]

核心观点 - 阿里巴巴达摩院提出WorldVLA模型，首次将世界模型和动作模型融合到一个全自回归模型中，实现文本、图片、动作的统一理解和生成 [1][5] - WorldVLA通过双向增强机制，既提升动作生成的准确性，也增强图像预测的质量 [7] - 在LIBERO基准测试中，WorldVLA抓取成功率提升4%，视频生成质量FVD指标降低10% [8] 模型架构 - 使用三个独立编码器分别处理图像、文本和动作数据，不同模态token共享相同词表 [5] - 世界模型部分通过输入动作生成视觉表示，学习环境物理动态规律 [7] - 动作模型部分增强对视觉信息的理解，提升世界模型的图像生成准确性 [7] 技术创新 - 提出动作注意力掩码策略，解决自回归模型中动作生成误差累积问题 [7] - 该策略在动作分块生成任务中使抓取成功率提升4%到23% [8] - 在未预训练情况下，WorldVLA超越需要预训练的全自回归模型OpenVLA [17] 实验结果 - 在LIBERO基准测试中，256*256版本平均成功率79.1%，512*512版本提升至81.8% [18] - 消融实验显示加入世界模型可使动作模型平均成功率从62.8%提升至67.2% [19] - 采用注意力掩码策略后，动作模型平均成功率从54.0%大幅提升至76.6% [19] 应用展示 - 可根据指令完成对应动作 [20] - 能够根据当前帧图片和动作生成下一帧图片 [24]

核心观点 - VLA（视觉-语言-动作模型）通过端到端融合视觉感知、语言理解与动作决策，实现从环境观察到控制指令输出的闭环映射，提升自动驾驶系统的泛化能力与场景适应性[2] - VLA模型简化了传统自动驾驶模块化架构，通过统一神经网络学习最优控制策略，减少误差累积和规则设计复杂性[4] - 行业认为VLA将推动自动驾驶进入"端到端2.0"时代，成为下一代技术基石[15][16] 技术架构 - **视觉编码器**：采用CNN或Vision Transformer提取图像/点云特征，部分引入三维空间编码器增强场景理解[8][9] - **语言编码器**：接入预训练语言模型，理解自然语言指令（如"第二个红绿灯右转"）和安全策略（如"行人出现时减速至5公里/小时以下"）[11] - **跨模态融合层**：使用自注意力机制或图神经网络实现视觉与语言特征的对齐融合[11] - **动作解码器**：基于强化学习直接预测转向角度、加速度等连续控制信号[11] 行业应用 - DeepMind的RT-2模型展示了VLA在机器人控制的潜力[13] - 元戎启行推出"端到端2.0版本"VLA模型，CEO称其将推动城区智驾达到"好用"状态[13] - 智平方GOVLA模型在机器人领域实现全身协同与长程推理，为智能驾驶提供参考[13] 技术优势 - 场景泛化能力：通过大规模多模态数据学习，在复杂路口、弱光环境等场景表现更优[12] - 上下文推理：融入语言理解后可根据指令动态调整驾驶策略[12] - 系统简化：省去传统方案中的规则引擎和多阶段优化，提高数据利用效率[4][11] 发展挑战 - 可解释性不足："黑盒子"特性导致边缘场景决策失误难以排查[13] - 数据需求：需构建覆盖多种交通场景的高保真仿真环境和海量训练数据[13] - 计算瓶颈：实时性优化难度高，商用化面临算力资源消耗大的问题[13] 未来方向 - 结合可解释性模块或Diffusion模型优化决策透明度与轨迹平滑性[15] - 与传统规则引擎或MPC组成混合架构提高安全冗余[15] - 扩展至车队协同、远程遥控及人机交互等场景[15]

核心观点 - SpatialVLA是一种通用机器人策略，通过探索对齐的空间表示，赋予视觉-语言-动作(VLA)模型3D空间智能，显著提升了在现实世界中的通用性和鲁棒性 [6][8] - 该模型在zero-shot泛化控制、新场景高效微调和空间理解能力评估中均取得最先进性能，尤其在复杂环境变化和跨机器人平台适应性方面表现突出 [10][12][17][20] - 模型采用Ego3D位置编码、自适应空间动作网格和空间嵌入适应三大关键技术，解决了机器人观察数据3D未对齐和动作特性多样化的核心挑战 [6][7] 通用操作策略面临的挑战 - 现有VLA模型局限于2D输入，缺乏鲁棒3D感知能力，难以应对单视角视差、光照变化和环境不一致等现实场景问题 [1][3] - 机器人观察数据因相机传感器和安装位置差异导致3D空间未校准，动作特性因自由度、控制器等差异而多样化，阻碍通用策略开发 [4][5] SpatialVLA模型架构 - 采用SigLIP视觉编码器提取2D语义特征，通过Ego3D位置编码融合3D空间上下文，消除对特定机器人相机校准的依赖 [6][7] - 将连续7D动作(ΔT,ΔR,G)离散化为3个空间动作token，通过自适应动作网格实现不同机器人动作与3D物理世界的对齐 [6][7] - 后期训练中通过高斯分布调整动作网格和空间嵌入，实现跨机器人平台的高效迁移 [6][7] 实验验证结果 Zero-shot泛化控制 - 在SimplerEnv Benchmark中，WidowX配置下整体成功率达34 4%(zero-shot)和42 7%(微调)，"将茄子放入黄色篮子"任务微调后成功率100% [12][14] - 真实WidowX平台测试显示，在未见过的场景、物体和动态动作中平均成功率显著超越OpenVLA等基线 [15][16] 新场景高效微调 - 在Franka机械臂13个平台上，从基本操作到混合多任务均表现优异，验证了作为通用控制策略的多功能性 [17][18] - LIBERO Benchmark中取得78 1%最高平均成功率，在无state输入策略中排名第一 [19] 空间理解能力 - Franka任务1准确率73%，WidowX零样本任务2-4操作能力显著提升，LIBERO-Spatial任务成功率88 2% [20][21] - 相比Octo等基线策略(成功率<50%)，3D信息集成使模型在空间布局变化中展现更强适应性和鲁棒性 [20] 技术实现与开源 - 项目已全面开源，提供Huggingface模型库、GitHub训练代码和项目主页，支持下载部署、预训练和高效微调 [22][23]