开源具身大脑RoboBrain

搜索文档
迈向群体智能 | 智源发布首个跨本体具身大小脑协作框架与开源具身大脑
量子位· 2025-03-29 15:46
核心观点 - 智源研究院发布跨本体具身大小脑协作框架RoboOS与开源具身大脑RoboBrain 推动单机智能迈向群体智能 为构建具身智能开源统一生态提供底层技术支持 [1] - RoboOS基于"大脑-小脑"分层架构 通过模块化设计、智能任务管理和跨本体协作 实现从单机智能到群体智能的跃迁 [9] - RoboBrain在任务规划、可操作区域感知和轨迹预测评测任务中均表现出卓越性能 [3][5][7] - RoboOS原生支持异构机器人本体的灵活接入 形成支持模块复用、即插即用的运行体系 大幅降低开发门槛与接入成本 [14] - 系统具备端云一体化协同能力与动态调度机制 为未来具身智能的规模部署与生态构建奠定通用操作系统级基础 [15] 技术架构 - RoboBrain由基座模型、A-LoRA模块和T-LoRA模块组成 采用多阶段训练策略 具备长历史帧记忆和高分辨率图像感知能力 [2] - RoboOS核心要素包括具身大脑RoboBrain、小脑技能库以及跨机器人数据中枢 形成感知-认知-决策-行动闭环 [8] - 系统基于FlagScale并行训练与推理框架 原生支持多机器人系统的端云协同能力 指令响应延迟低于10ms [16] - 提供基于内存优化的数据访问引擎 支持TB级别历史数据的内存随机访问能力 实现协作知识共享与自主学习 [16] 性能表现 - 在任务规划方面 RoboBrain在OpenEQA、ShareRobot和RoboVQA评测集上多个维度优于GPT-4V、Claude3等6个领先MLLMs [3] - 在可操作区域感知方面 RoboBrain在AGD20K测试集上的平均精度达27.1% 超过Qwen2-VL的12.5% [5][6] - 在轨迹预测方面 RoboBrain预测的操作轨迹与真实轨迹相似度高 DFD指标最低达0.176 HD T指标最低达0.109(下降42.9%) [7] 应用场景 - 在"递送苹果和水果刀"任务中 三台异构机器人通过RoboOS实现分工协作 完成复杂递送任务 [11][12] - 系统可应用于服务机器人、工业自动化、智慧物流、智能制造等领域 支撑复杂任务的多机协作需求 [14] - 智源研究院正联合高校院所及产业链企业 建设具身智能创新平台 开展数据、模型、场景验证等研究 [17] 生态建设 - 开源具身多模态大脑模型RoboBrain及高质量异构数据集ShareRobot 推动开放协作共享的具身智能生态 [18] - 系统支持异构机器人本体的灵活接入 通过Profile模板机制快速完成机器人能力建模与适配 [14] - 兼容自研多模态VLM 作为可插拔的大脑决策引擎 实现模块复用与即插即用 [14]