核心观点 - 北京大学与香港中文大学研究团队发布全新双系统视觉-语言-动作模型FiS-VLA，实现高频响应与复杂推理的统一 [4] - FiS-VLA通过将快速执行模块嵌入预训练视觉-语言模型中，实现快慢系统一体化设计，控制频率高达117.7Hz [4][23] - 该方法在仿真与真机测试中表现优异，平均成功率69%，远超主流方案 [17][19] 研究背景与挑战 - 机器人操作系统需依据传感器输入和语言指令生成精确控制信号，但现有视觉-语言模型推理速度慢，限制高频控制实用性 [7] - 现有双系统设计协同效率低下，系统1无法充分利用系统2的语义推理结果 [9] 架构设计 - 基于Prismatic VLM架构，包含视觉编码器、轻量级3D tokenizer、LLaMA2-7B语言模型及MLP模块 [13] - 将VLM末端几层Transformer模块重构为系统1执行模块，嵌入系统2内部形成统一模型 [11] - 系统2低频处理2D图像和语言指令，系统1高频响应实时感知输入 [11] 双系统协作 - 灵感来自Kahneman双系统理论，系统2输出高维特征为系统1动作生成提供约束 [14] - 系统1每个时间步运行，利用周期性更新的系统2语义理解结果 [14] - 采用异构模态输入设计，系统1接收2D图像、机器人状态和3D点云信息 [15] 性能表现 - 仿真测试中平均成功率69%，控制频率21.9Hz，是CogACT的2倍以上 [17][18] - 真机测试平均成功率68%-74%，在高精度操控任务中展现显著优势 [19][20] - 泛化测试中面对未见物体、复杂背景与光照变化，准确率下降幅度远小于基线 [21][22] 技术突破 - 消融实验显示共享2层Transformer时性能最佳，系统1接收三种输入模态效果最优 [23] - 系统1和系统2协作最佳频率比为1:4，单步预测8个动作时理论控制频率达117.7Hz [23] - 采用跨平台大规模轨迹数据预训练（860K条轨迹）并在微调阶段增强任务适应性 [15]