核心观点 - 视觉-语言模型（VLM）为机器人带来"看图执行指令"的新范式，但现有系统多为"小脑"模型，缺乏长期规划与记忆管理能力 [7] - 提出RoboCerebra基准，专注于评估大小脑协同能力，包含长时序（平均2,972步）、多扰动、强记忆约束的任务场景 [8] - 配套发布Hierarchical Planning & Execution (HPE)框架，实现大脑VLM与小脑VLA的高效协同 [22] 数据集构建 - 数据生成采用GPT自动生成高层任务并递归拆分子目标，经符号与视觉双重验证后人工标注 [13] - 包含1,000条人工标注轨迹，覆盖100个任务变体，平均每条轨迹由9.1个原子动作构成，总步数达2,972步 [17][18] - 引入六类代表性子任务：Ideal、Memory Exploration、Memory Execution、Random Disturbance、Observation Mismatching、Mix [16] 评测体系 - 设计四维核心指标：任务成功率、计划匹配精度、计划效率、动作完成一致性 [21] - 采用锚点同步机制确保不同方法在子计划切换上的时序一致性 [21] - 在Memory任务中新增探索成功率、探索效率、决策准确率等细分指标 [32] 实验发现 - 层次化框架在Memory Execution场景提升幅度超70%，验证协同机制有效性 [26] - GPT-4o表现最优，平均成功率16.04%，但较人工最优计划仍有9%差距 [28][29] - 当前VLM在探索阶段成功率可达80%，但执行阶段决策准确率仅30%，显示记忆保持能力不足 [31] 技术框架 - HPE框架实现认知层与执行层解耦：VLM-Planner低频处理观测生成子目标，VLA-Controller高频执行动作 [24] - 通过共享Memory Bank实现状态共享与自适应replanning [24] - 支持多模态大模型接入，包括GPT-4o、Qwen2.5-VL、LLaVA-Next-Video等 [24]