π₀模型结构 - 核心架构基于预训练视觉语言模型(VLM)和Flow Matching技术,包含VLM backbone、动作专家和跨具身训练组件[3] - 整合7种机器人、68项任务、超10,000小时数据,通过权重调整处理不同机器人动作空间差异[3] - 训练流程继承PaliGemma VLM的语义知识,融合多模态输入(图像/语言/物理状态)[3] - 独立子网络(3亿参数)将VLM输出转换为连续动作,流匹配技术实现50Hz高频率动作序列生成[3] π₀优势与功能 - 零样本直接执行预训练覆盖的语言提示任务(如"fold shirt")[4] - 支持复杂任务多阶段微调(如叠衣服分解为4个子步骤)[5] - 语言指令跟随能力可将高层任务(如"bus the table")分解为子任务序列[6] - 流匹配技术实现50Hz精细操作,适用于衣物折叠等高精度场景[7] - 单模型适配多种机器人形态,降低部署成本[10] π₀性能分析 - 开箱即用性能:在餐桌清理等任务中指令跟随准确率比π₀-small高20%-30%[11] - 微调效率:预训练类似任务仅需1-5小时数据微调,全新任务性能比从头训练提升2倍[11] - 复杂任务表现:叠衣服等任务通过"预训练+微调"实现60%-80%完成度[11] - 衬衫折叠成功率接近100%,复杂清理任务正确分类数量比Octo高40%[12] π0.5模型结构 - 采用双阶段训练框架和分层架构,基于Transformer实现多模态序列编码[13] - 分层推理机制:高级语义子任务预测+低级动作生成,结合离散/连续动作表示[16] - 预训练阶段使用400小时异构数据(97.6%非移动机器人数据)[16] - 后训练阶段引入动作专家模块优化实时控制,SigLIP视觉编码器(400M参数)+Gemma语言模型(2.6B参数)[16] π0.5优势与功能 - 异构数据驱动泛化:在未见过场景中执行任务,支持10分钟以上长时程操作[18] - 离散-连续混合训练比纯扩散模型效率提升3倍[17] - 多场景适应性:家庭环境清洁/整理任务,跨实体迁移学习能力[20] - 数据效率突破:仅用400小时移动数据(占2.4%)实现强泛化[21] π0.5性能分析 - 真实环境表现:未训练家庭中多阶段任务成功率60%-88%,单任务耗时10-15分钟[25] - 数据规模影响:104个训练位置时性能接近测试环境基线(差距<5%)[26][27] - 关键数据源:跨实体数据移除导致性能下降20%-30%,网页数据对未知物体泛化至关重要[28] A0模型结构 - 分层架构设计:高层空间Affordance理解+低层动作执行[29] - 核心组件包括Position Offset Attention和Spatial Information Aggregation Layer[30] - 预训练策略:100万接触点数据集预训练+标注轨迹微调[31] A0优势与功能 - 跨平台泛化:支持Franka/Kinova等机器人平台无缝部署[34] - 高效空间推理:通过接触点预测降低计算成本[34] - 数据利用效率:少量任务数据即可适应新场景[34] A0性能分析 - Franka机器人平均成功率62.5%,开抽屉任务达75%[35] - Kinova机器人轨迹跟踪任务成功率比基线高20%[35] - 擦黑板任务成功率比MOKA高15%-20%,执行步骤仅为RDT-1B的1/8-1/10[35]
技术圈热议的π0/π0.5/A0,终于说清楚是什么了!功能、场景、方法论全解析~
具身智能之心·2025-06-21 20:06