研究背景与动机 - 视觉-语言-动作（VLA）模型在机器人操作领域展现出潜力，但现有方法存在信息冗余、缺乏动态和空间知识等问题，难以形成闭环的感知-预测-动作循环 [3] - 人类行动前会形成多模态推理链，而现有VLA模型直接从观测映射到动作，缺乏前瞻推理能力 [3] - 部分方法尝试生成未来帧或关键点辅助动作预测，但仍存在像素冗余、3D空间信息缺失和高层语义不足等局限 [3] 模型设计核心思路 - DreamVLA通过预测动态区域、深度和语义三类核心世界知识，构建更有效的感知-预测-动作循环 [4][5] - 动态区域预测利用光流模型识别任务关键运动区域，避免冗余帧重建，优化目标为最大化对数似然的证据下界 [4] - 深度感知预测采用深度估计算法生成深度图，提供3D空间上下文，通过尺度归一化均方误差训练 [5] - 高层基础特征整合DINOv2和SAM等视觉基础模型的语义特征，通过InfoNCE损失进行对比语义预测 [5] 结构注意力与动作生成 - 块结构注意力机制将查询分解为动态、深度、语义三个子查询，屏蔽子查询间相互注意力，避免跨类型知识泄露 [6] - 采用扩散Transformer解码器从共享潜在特征中分离动作表示，通过迭代自注意力和去噪过程生成动作序列 [8] 实验结果与分析 - 在CALVIN模拟基准上，DreamVLA平均任务长度达4.44，超过RoboVLM（4.25）和Seer（4.28）等方法 [9][10] - 真实世界实验中，DreamVLA在Franka Panda机械臂任务中平均成功率达76.7%，显著高于Diffusion Policy（50.8%）和Octo-Base（45.0%） [10] - 消融实验显示动态区域预测单独使用时增益最大，深度和语义线索增益较小但接近 [11] - 预测未来知识的性能（平均长度4.44）显著优于仅重建当前信息（4.14） [12] - 块结构注意力使平均任务长度从3.75提升至4.44，证明其在抑制跨信号干扰中的有效性 [13] 核心贡献与局限 - 将VLA模型重构为感知-预测-动作模型，通过预测动态、空间和高层语义信息提供前瞻线索 [16] - 提出块结构注意力机制结合扩散Transformer解码器，实现连贯的多步动作推理 [16] - 当前主要适用于平行夹爪操作，依赖RGB数据，场景几何和材料多样性有限 [15]