视觉-语言-动作(VLA)模型综述 核心观点 - VLA模型通过整合视觉感知、自然语言理解和机器人控制，实现跨模态智能决策，是机器人技术的变革性突破[3] - 当前已梳理102个VLA模型、26个基础数据集和12个仿真平台，形成完整技术生态[3] - 未来发展方向包括可扩展预训练协议、模块化架构设计和稳健多模态对齐策略[3] 技术架构 - 主流架构范式：采用基于Transformer的视觉/语言骨干网络，通过跨模态注意力融合多模态输入，典型代表包括RT-2、OpenVLA等[9] - 三流编码设计： - 视觉编码器处理RGB图像（ViT/DINOv2等）[13] - 语言编码器嵌入指令（LLaMA/PaLM等）[15] - 状态编码器处理机器人本体感受数据[11] - 动作生成机制：扩散策略（Octo）和自回归Transformer（Gato）成为主流解码方式[15] 数据集发展 - 演进趋势： - 早期：EmbodiedQA等简单状态-动作映射数据集[22] - 中期：ALFRED等引入多模态感官流[22] - 当前：Open X-Embodiment整合22个机器人实体和500+任务数据[5] - 评估框架：通过任务复杂性和模态丰富度二维指标量化数据集质量，最高分Kaiwu兼具极高任务复杂性和七种模态[23][29] 仿真平台 - 关键功能： - AI2-THOR：逼真室内场景生成[34] - NVIDIA Isaac Sim：支持激光雷达/IMU等多传感器[35] - MuJoCo：高精度接触力建模[35] - 技术瓶颈：物理准确性不足、语言接地API缺失制约仿真到现实的迁移效果[47] 应用领域 - 六大方向： - 操作与任务泛化（RT-2/Octo）[37] - 自主移动（NaVILA）[38] - 人机交互（RoboNurse-VLA）[38] - 专用机器人平台（QUAR-VLA）[38] - 虚拟环境（JARVIS-VLA）[38] - 边缘计算（Edge VLA）[38] 技术挑战 - 架构层面：模态融合不充分、跨实体泛化能力弱[43][44] - 数据层面：任务多样性不足、模态不平衡[45] - 仿真层面：视觉-物理保真度难以兼顾[47] 未来方向 - 开发可学习的分词器统一多模态输入[49] - 构建长视距跨域基准测试体系[49] - 推进可微分物理引擎和标准化语言接口[50]