视觉-语言-动作模型优化 - 机器人思维链推理通过预测中间表征提升策略性能与泛化能力，但存在依赖专用数据和推理速度慢的局限性 [3] - 研究提出推理提升性能的三种机制：更优表征学习、更完善学习课程化、更强表达能力，并设计简化变体验证每种机制作用 [3] - 基于机制理解提出两种轻量级机器人推理替代方案，在LIBERO-90基准实现最先进结果，推理速度较标准方法提升3倍 [3] - 利用视觉语言模型生成反事实标签扩充机器人数据集，解决现有数据语义多样性和语言接地性不足问题 [5] - 反事实重标记方法在无需额外采集数据下，使VLA模型导航任务成功率提升27%，指令跟随能力媲美最先进方法 [5] 机器人脑与操作能力构建 - 多模态大语言模型在机器人长周期操作任务中缺乏规划能力、可供性感知和轨迹预测三大关键能力 [7] - 引入ShareRobot高质量异构数据集，标注任务规划、对象可供性和末端执行器轨迹等多维度信息，基于此开发RoboBrain模型 [7] - RoboBrain结合机器人与通用多模态数据，采用多阶段训练策略，融入长视频和高分辨率图像，在各种机器人任务中实现最先进性能 [7] - 提出DROID大规模机器人操作数据集，包含7.6万条演示轨迹（350小时交互数据），由50名采集者在564个场景中完成86项任务 [9] - 利用DROID训练的策略在性能和泛化能力上均有提升，数据集及学习代码已开源 [9] 视觉表征与技能学习迁移 - 针对具身智能预训练视觉表征的最大规模实证研究构建CORTEXBENCH基准，包含17项任务，发现无单一表征在所有任务中占优 [13] - 整合超过4000小时第一视角视频（含超430万张图像）与ImageNet训练视觉Transformer，发现扩大数据规模多样性不普遍提升所有任务性能但平均有提升 [13] - 规模最大模型VC-1平均性能优于所有现有预训练视觉表征，任务或领域特异性适配可带来显著提升，适配后VC-1在所有基准任务上达到或优于最佳结果 [13] - 提出语义动作流作为中间表示捕捉操作者-物体交互，ViSA-Flow框架从无标签大规模视频数据中自监督学习该表示 [11] - ViSA-Flow在CALVIN基准和真实任务实现最先进性能，低数据情况下通过将知识从人类视频迁移到机器人执行超越现有方法 [11] 通用策略微调与模仿学习 - 通用机器人操作策略微调性能因策略设计选择而有显著差异，包括动作空间、策略头、监督信号及可调参数选择 [15] - 深入实证研究评估每个单一配置2500次rollout，低数据情况下精心选择的微调策略使GMPs显著优于最先进模仿学习算法 [15] - CACTI框架通过数据收集、增强、视觉表征学习和模仿策略训练四阶段实现机器人学习可扩展性，专注于多任务多场景操作 [17] - CACTI在真实机器人设置中训练单一策略完成10项厨房操作任务，在仿真环境中完成18项语义任务（每项100种布局变化） [17] - R3M视觉表示在Ego4D人类视频数据集上预训练，下游机器人操作任务中比从头训练成功率提高超过20%，比CLIP和MoCo提高超过10% [19] - R3M使机械臂在仅20次演示下于真实杂乱公寓环境中学习操作任务，作为冻结感知模块实现数据高效学习 [19]