文章核心观点 - 淘天集团未来生活实验室团队提出的CombatVLA模型在3D动作角色扮演游戏的战斗任务中表现出色，成功率超越GPT-4o和人类玩家 [1][4] - CombatVLA是一个3B级别的多模态大模型，通过动作思维（AoT）序列训练，实现了高效战斗决策和50倍加速 [4][8] - 该模型解决了3D战斗场景中的三大挑战：视觉感知、战斗推理和高效推理，并在战斗理解基准测试中全面超越现有模型 [6][11][46] CombatVLA概览 - 视觉-语言-动作模型（VLA）结合视觉、语义和动作控制，推动具身智能发展 [6] - 3D战斗场景面临视觉感知、战斗推理和高效推理三大挑战，现有方案存在泛化能力弱和推理延迟高的问题 [6][7] - CombatVLA基于3B参数规模，能处理视觉输入并输出具体可执行的动作指令，支持键鼠操作 [8] 动作追踪器和评测基准 - 团队开发了动作跟踪器，自动采集大规模训练数据，并建立了战斗理解评测基准CUBench [12][15] - CUBench涵盖信息获取、理解和推理三项核心能力，包含914条数据用于全面测试模型的战斗理解能力 [20][21] - 动作跟踪器在后台运行，监控键盘和鼠标操作以记录用户动作，并同步截取游戏截图 [17][18] CombatVLA模型 - 团队将动作跟踪器采集的数据转化为"动作思维"（AoT）数据，包含动作和解释两部分 [24] - 采用三阶段渐进式训练范式：视频级粗粒度微调、帧级细粒度微调和帧级截断微调 [26][27][29][33] - 训练过程中视觉编码器参数冻结，仅微调语言模型参数，并通过特殊标记实现输出截断加速 [35] 动作执行框架 - 团队开发了轻量级且高效的动作执行智能体，接收实时游戏画面作为输入，输出键鼠动作指令 [36][37] - 推理过程中采用截断输出策略，检测到特殊标记即停止，将内容解析为动作并转换为Python代码执行 [39][40] - 对实时游戏画面进行帧采样，去除冗余视觉信息，降低模型推理负担 [38] 实验结果 - 在CUBench上，CombatVLA取得63.61的最高平均分，比第二名Gemini-2.0-flash高出5.71分 [46] - 在通用基准评测中表现与基座模型相当，验证了方法的稳健性和泛化能力 [47] - 平均推理延迟仅1.8秒，比VARP快约50倍，模型调用成本仅为其1/10 [48][49] - 在任务级实战测试中，CombatVLA在中高难度任务上全面超越基线，并在零样本任务上展现较强泛化能力 [47][55]

DreamVLA模型概述 - 提出一种新型视觉-语言-动作(VLA)模型DreamVLA 通过预测环境动态、空间和语义信息提升机器人动作决策精度 [1] - 采用"感知-预测-动作"循环框架 将动作规划视为逆动力学问题 通过预测未来环境状态推导动作 [6][7] - 在CALVIN ABC-D基准测试中平均任务完成长度达4.44 模拟环境性能比前代方法高3.5% 现实世界任务成功率76.7% [25] 技术架构 输入处理 - 多模态输入编码：语言指令(CLIP ViT-B/32文本编码器)、视觉图像(MAE预训练ViT-B模型处理双路摄像头)、机器人状态(可训练编码器) [10][14] - 采用perceiver resampler压缩视觉特征 将196个局部特征向量和全局[CLS] token压缩至可管理规模 [14] 世界知识预测 - 动态区域预测：使用CoTracker光流跟踪算法 通过速度阈值筛选生成二值化动态区域掩码 聚焦移动物体 [12][15] - 深度预测：有深度传感器时直接监督训练 无传感器时采用DepthAnything自监督 输出尺度归一化深度图 [13][16] - 语义预测：并行使用DINOv2(语义向量)和SAM(分割掩码) 通过轻量级ViT解码器输出语义特征 [18][22] 动作生成 - 采用扩散Transformer(DiT-B)作为动作解码器 从高斯噪声逐步生成7维动作向量(6维空间位移+1维抓手状态) [23] - 引入块状结构化注意力机制 结合因果/非因果注意力确保多步动作连贯性 [19] - 使用查询token引导未来世界知识预测 与输入序列拼接后生成世界嵌入 [20] 性能验证 - 消融实验显示动态区域预测贡献最大 深度/语义预测结合动态区域可进一步提升性能 [31] - 结构化注意力机制比普通因果注意力更稳定 分开查询优于共享查询 [31] - 使用DROID数据集(7.6万条轨迹)预训练 仅需100个任务特定演示微调即可展现强泛化能力 [25] 应用前景 - 框架兼容现有VLA模型 特别适合助手机器人和导航场景 [27] - 动态区域掩码能有效抑制背景干扰 深度地图辅助避障 语义特征提升物体交互精度 [17][22]

核心观点 - 视觉-语言-动作模型（VLA）在接触密集型任务中存在触觉感知缺失的短板，难以实现精细力控制 [2] - Tactile-VLA通过深度融合视觉、语言、动作与触觉感知，激活VLA模型中隐含的物理知识，解决接触密集型任务的力控制与泛化问题 [2][6] - 研究发现视觉-语言模型（VLM）的先验知识中已包含对物理交互的语义理解，通过少量演示即可激活该知识实现零样本泛化 [6] 核心创新与研究目标 关键发现 - VLM的先验知识包含物理交互语义理解，通过触觉传感器连接可激活该知识实现零样本泛化 [6] 主要创新点 - Tactile-VLA框架：首次将触觉感知作为原生模态引入VLA模型，构建多模态深度融合架构 [6] - 混合位置-力控制器：将力目标转化为位置调整指令，解决位置与力控制的协同难题 [6][11] - Tactile-VLA-CoT变体：引入思维链推理机制，基于触觉反馈自主调整策略提升稳健性 [6][15] 主要解决的问题 - 触觉感知的指令遵循：理解"轻柔地""用力地"等力相关语言修饰词 [6] - 触觉相关常识运用：基于物体属性自主调整交互力 [6] - 触觉参与的自适应推理：通过触觉反馈诊断失败并制定纠正策略 [6] Tactile-VLA框架 整体架构 - 多模态深度融合架构包含视觉、语言、触觉和本体感觉输入的统一token表示 [9][11] - 通过非因果注意力机制实现视觉、语言和触觉token的自由交互 [9] 混合位置-力控制机制 - 控制逻辑：以位置控制为主，力误差超过阈值时引入力反馈调整 [11][12] - 双通道分离：外部净力与内部抓取力分离实现精细化调节 [13] 思维链推理机制 - 触发机制：固定间隔评估任务进展，检测失败时启动推理 [18] - 推理流程：判定任务成功与否、分析失败原因、生成纠正指令 [18] 数据收集方法 - 硬件平台：基于通用操作接口（UMI）配备双高分辨率触觉传感器 [19] - 同步机制：100Hz触觉信号与20Hz视觉数据时间对齐 [19] - 标注方式：人类操作员结合触觉反馈提供演示并记录语言指令 [19] 实验验证与结果分析 触觉感知的指令遵循实验 - 任务A（USB插拔）：Tactile-VLA成功率达35%，充电器任务中达90% [22][23] - 力控制精度：USB任务中"轻柔地"施加0.51N力，"用力地"施加2.57N力 [23] 触觉相关常识的运用实验 - 域内物体抓取成功率：90%-100%，域外物体达80%-100% [30] - 力调节策略：根据物体属性自主调整力度，如对易碎物体用轻力 [30] 触觉参与的自适应推理实验 - 黑板擦拭任务：Tactile-VLA-CoT成功率达80%，基线模型为0 [28][32] - 推理过程：首次尝试失败后自主增加剪切力并成功完成任务 [32]

核心观点 - 视觉-语言-动作模型（VLA）在接触密集型场景中存在触觉感知缺失的短板，难以实现精准力控制与物理交互 [2] - Tactile-VLA框架通过深度融合视觉、语言、动作与触觉感知，激活VLA模型中隐含的物理知识，解决接触密集型任务中的力控制难题 [2] - 研究发现视觉-语言模型（VLM）的先验知识中已包含物理交互的语义理解，通过触觉传感器连接可激活该知识实现零样本泛化 [6] 核心创新与研究目标 关键发现 - VLM的先验知识包含物理交互语义理解，触觉传感器连接可激活该知识实现零样本泛化 [6] 主要创新点 - Tactile-VLA框架首次将触觉作为原生模态引入VLA模型，构建多模态深度融合架构 [7] - 混合位置-力控制器创新性地将力目标转化为位置调整指令，解决位置与力控制协同难题 [7] - Tactile-VLA-CoT变体引入思维链推理机制，基于触觉反馈分析失败原因并自主调整策略 [7] 主要解决问题 - 实现触觉感知的指令遵循、触觉相关常识运用和触觉参与的自适应推理三大能力 [9] 框架设计 整体架构 - 包含多模态编码器、Transformer backbone网络、触觉感知动作专家和混合位置-力控制器四大模块 [13] - 采用token级融合机制，通过非因果注意力实现视觉、语言和触觉token的自由交互 [14] 混合位置-力控制机制 - 以位置控制为主，力误差超阈值时引入力反馈调整，公式ΔF为目标力与实测力差值 [14] - 双通道分离设计：外部净力通过机械臂笛卡尔位置控制，内部抓取力通过夹爪宽度控制 [14] 思维链推理机制 - 按固定间隔评估任务进展，检测失败时启动"判定-分析-生成"三阶段推理流程 [14] - 使用含失败案例和语言注释的小型数据集微调模型，保留通用推理能力 [14] 实验验证 触觉感知的指令遵循 - USB任务中Tactile-VLA成功率35%，充电器任务达90%，显著高于基线模型（最高40%）[21] - 力控制精度：USB任务中"轻柔地"0.51N vs "用力地"2.57N，充电器任务保持区分度（4.68N vs 9.13N）[21] 触觉相关常识运用 - 域内物体抓取成功率90%-100%，域外物体80%-100%，显著高于基线（易碎物体基线接近0）[27] - 能根据物体属性自主调整力度：坚硬沉重物体用大力，易碎物体用轻力 [27] 触觉参与的自适应推理 - Tactile-VLA-CoT黑板任务成功率80%，基线模型和Tactile-VLA（无推理）分别为0和15% [33] - 首次尝试3.5N力失败后，通过推理将力增加到6.7N并成功完成任务 [33]

视觉语言动作模型（VLA）加速技术 - 提出CEED-VLA框架，通过Jacobi Decoding和Early-exit Decoding策略实现推理速度提升，最高达4.1倍加速比和执行频率4.3倍提升 [2][6][15] - 引入一致性蒸馏机制与混合标签监督方法，确保学生模型从中间状态准确预测动作，保留操作技能 [9][11][13] - 识别Jacobi解码迭代效率瓶颈，通过提前退出策略优化高频任务执行，保持成功率的同时减少冗余计算 [15][20] 模型架构与训练方法 - 框架基于预训练VLA模型（如LLaVA-VLA）生成训练数据，结合一致性损失（KL散度）和自回归损失进行联合优化 [6][12][14] - 混合标签监督动态调整样本标签，对偏差较大样本采用真实标签，提升模型鲁棒性 [13][19] - 消融实验显示混合标签方案速度提升2倍，平均预测长度3.67，优于纯教师模型或真实标签方案 [19][21] 性能评估结果 - 在CALVIN基准测试中，CEED-VLA固定token数达13.5，速度提升2倍，显著优于PD-VLA（8.75 token，1.33倍）和基线模型 [20] - 真实世界任务（如叠毛巾）成功率超70%，机械臂动作连续性优于LLaVA-VLA，后者因低频控制常出现抓取失败 [30][31] - LIBERO LONG基准测试显示，模型在长序列任务中保持高效执行，任务完成率与推理速度同步优化 [22][23] 技术对比与创新 - Jacobi解码并行输出token但收敛条件严格，Early-exit策略通过预设步数提前输出，利用后期token变化微小特性提升效率 [15] - 一致性训练使中间点收敛至固定点，KL散度约束分布差异，自回归损失继承教师模型能力 [9][12][14] - 开源代码与Arxiv论文提供完整实现细节，包括轨迹收集、蒸馏流程和解码优化 [4][6]

视觉-语言-动作模型（VLA）的挑战与改进 - 动作表示效率低：传统连续动作离散化方法难以捕捉复杂时空动态，导致长时域任务中累积误差增大 [3][4] - 数据依赖瓶颈：真实机器人数据采集成本高，限制模型泛化能力 [3][4] 核心贡献 - 通用动作分词器框架：基于卷积残差VQ-VAE的框架替代传统分桶离散化方法 [4] - 合成数据驱动缩放：利用超大规模合成数据（100倍于先前工作）训练分词器，纯合成数据训练的VQ在真实任务接近混合数据性能 [4] - 性能全面优化：长时域任务成功率最高提升30%，动作执行频率从4.16Hz提升至11.84Hz [4][13] 关键技术方案 - 卷积残差VQ-VAE架构：采用2D时序卷积层替代传统MLP，LIBERO-10任务成功率提升6.6%（60.0% vs 53.4%） [7][8] - 残差量化：通过多阶段残差向量量化（RVQ）压缩动作序列 [10] - 渐进式训练策略：嵌入增强（时间嵌入和动作类型嵌入）使"翻正锅具"任务成功率提升5% [11][12] 关键实验发现 - 仿真环境（LIBERO）：卷积残差VQ-VAE在LIBERO-10任务成功率60.0%，显著高于MLP版的53.4% [17] - 真实机器人（Franka Research 3）：纯合成数据训练的VQ在真实任务表现接近混合数据版本，证实合成-真实域差距极小 [17] - 长时域任务：玩具放入抽屉任务成功率30.0% vs 基线5.0%，所有杯子放入篮子任务成功率50.0% vs 基线15.0% [17] 消融研究与未来方向 - 动作分块机制：VQ分块在LIBERO-90成功率86.61%，显著高于自回归分块的66.53% [19] - 嵌入层贡献：加入时空嵌入使LIBERO-90成功率提升0.99% [19] - 未来方向：整合更大规模合成数据集（如RLBench），结合蒸馏与量化技术进一步加速推理 [19]