具身智能之心
搜索文档
Qwen终于要做机器人了:林俊旸官宣成立具身团队!
具身智能之心· 2025-10-09 14:39
阿里通义千问的具身智能战略动向 - 阿里通义千问大语言模型负责人官宣在Qwen内部组建小型机器人、具身智能团队,标志着公司正式进入机器人领域[1] - 多模态基础模型正转变为基础智能体,这些智能体可利用工具和记忆通过强化学习进行长程推理,并应从虚拟世界走向物理世界[1] 阿里在具身智能领域的投资与布局 - 阿里云作为领投方之一参与自变量机器人近10亿元A+轮融资,这是阿里云首次领投具身智能企业[4] - 基于在AI大模型和智驾方面积累的能力,阿里云已为深度支持具身智能行业做好准备,并将与众多具身智能公司展开合作[7] Qwen系列模型的技术优势与优化 - 在走访的30多家具身智能公司中,绝大多数使用Qwen-VL做后训练,因其在空间理解、路径规划、长上下文记忆方面的长板能解决核心痛点[5] - 新发布的Qwen3-VL针对细粒度视觉理解、视频时序理解、3D感知与规划以及带图推理和视觉交互能力进行了优化,为具身智能落地提供更强基础模型支撑[5] 具身智能对模型发展的反向促进作用 - 模型正式走入物理世界能检验其在真实场景中的理解、规划与执行能力,并反向促进模型能力演化[7] - 在物理世界中面对复杂反馈、噪声与不确定性将迫使模型在感知融合、因果推理和长程记忆等方面不断进化[7] - 具身化为Qwen带来新的数据与应用空间,让模型从文字世界延展到机器人、自动化、交互式设备等更广阔落地场景[7] 全球科技巨头在机器人领域的动向 - 英伟达首席执行官表示人工智能与机器人是公司两大核心技术机遇,有望带来数十万亿美元的长期增长潜力[7] - 英伟达计划通过其技术为数十亿台机器人、数亿辆自动驾驶汽车以及数十万座机器人工厂提供算力支撑[8] - 软银集团以54亿美元现金收购ABB的机器人业务,旨在将人工超级智能与机器人深度融合[9][10] 机器人市场前景与资本涌入 - 花旗集团预计到2050年全球机器人市场规模将达到7万亿美元[11] - 凭借巨大市场潜力,该领域正吸引包括政府基金在内的大量资本加速涌入[11]
新手如何挑选自己的第一套具身科研平台?
具身智能之心· 2025-10-09 12:00
产品定位与目标客群 - 产品是专为具身智能科研领域打造的轻量级高性价比机械臂Imeta-Y1 [1][2] - 目标客群为学生、教育工作者及机器人领域初学者,旨在帮助其低成本、高效率地完成算法验证与项目开发 [2] 核心产品优势 - 提供全流程开源工具链与代码示例,覆盖数据采集、模型训练到推理部署,支持视觉、力控等多模态数据融合,并兼容TensorFlow、PyTorch等主流框架 [3][17][32] - 支持Python/C++双语言接口,并兼容ROS1/ROS2,提供URDF模型,可实现仿真环境(如Gazebo)与真机的无缝联调与一键部署 [3][17][22] - 采用高精度运动控制与开放软硬件架构,具备紧凑型结构与模块化接口,适用于嵌入式AI与机器人学习平台 [5][6] 关键性能参数 - 机械臂本体重量为4.2公斤,额定负载为3公斤,具备6个自由度,工作半径为612.5毫米,重复定位精度达±0.1毫米 [8][19] - 供电电压为24V,控制器为PC,通讯方式采用CAN,控制方式支持轨迹跟踪、示教及API [8][19] - 各关节运动范围最大为180度,关节运动最大速度达220度/秒 [8][19] 售后与支持服务 - 提供24小时快速售后响应,非人为损坏产品质保半年 [3][44][45] - 交付周期为1-2周,后期将为新老客户陆续升级VLA、VA相关源码 [19][44]
中科院自动化!EmbodiedCoder:生成模型的参数化具身移动操作
具身智能之心· 2025-10-09 08:04
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Zefu Lin等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 一、研究背景 在机器人领域,让机器人在复杂、非结构化环境中像人类一样熟练完成多样化任务,是长期核心目标。近年来,视觉-语言-动作(VLA)模型通过端到端映射感官 输入与自然语言指令到机器人动作,推动了这一目标的落地,但仍存在显著局限: 为解决这些问题,研究人员提出分层策略,利用视觉-语言模型(VLM)将任务分解为子任务,并调用预定义操纵原语(如导航、抓取)。但这类方法受限于原语 库,无法处理开门、拉抽屉等需要精细交互的真实场景任务——这类任务难以被有限的预定义原语覆盖。 此前基于代码生成的尝试也存在不足:早期方法仅适用于简单几何任务;部分方法依赖学习模型处理物理约束,降低对新场景的适应性;还有方法无法处理接触密 集型操纵,或仅聚焦于故障检测而非扩展操纵能力。针对移动机器人,还需解决环境信息留存、非视野内物体规划等更复杂的 ...
从机械臂到人形,跨构型VLA如何破局?
具身智能之心· 2025-10-09 08:04
VLA-Adapter技术突破 - 机械臂视觉语言到动作范式的深刻反思,直击VLA伪规模化问题,核心目标是直接从视觉语言模型特征映射到动作空间,减少对机器人预训练数据的依赖[3] - 研究发现参数增加和机器人数据引入并未提升模型性能,关键在于忽略了视觉语言如何迁移到动作的机制探究[3] - 提出全新映射方案,在0.5B参数级别下性能超越经过大量数据预训练的更大量级骨干模型,显著降低训练成本和入门门槛[3] TrajBooster技术创新 - 首个全身人形操作VLA方案,解决双足人形全身操作任务训练数据稀缺难题,跨本体构型高效利用数据[7] - 以轨迹为中心实现跨本体数据高效利用,仅需10分钟真机遥操数据微调即可实现VLA在双足人形机器人上的全身操作[7] - 是目前业内唯一全开源的涵盖人形数据采集、跨本体数据增强、VLA模型训练及硬件部署全流程的工作[13] 研究团队与项目影响力 - 研究团队OpenHelix Team累计Github star近2k,VLA-Adapter项目两周收获700+star,HuggingFace Trend唯一在榜机器人工作[13] - 团队长期致力于推动具身智能和VLA模型前沿研究,特别是在VLA基座构建,使其更好与物理世界交互[13] - TrajBooster项目基于原OpenWBC项目,是业内唯一全开源的全流程人形机器人VLA解决方案[13]
DiffusionNFT:扩散强化学习新范式,训练效率提升25倍
具身智能之心· 2025-10-09 08:04
编辑丨 机器之心 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 清华大学朱军教授团队, NVIDIA Deep Imagination 研究组与斯坦福 Stefano Ermon 团队联合提出了一种全新的扩散模型强化学习(RL)范式 —— Diffusion Negative-aware FineTuning (DiffusionNFT) 。该方法首次突破现有 RL 对扩散模型的基本假设,直接在 前向加噪过程(forward process) 上进行优化,在彻底摆 脱似然估计与特定采样器依赖的同时,显著提升了训练效率与生成质量。文章共同一作郑凯文和陈华玉为清华大学计算机系博士生。 论文标题:DiffusionNFT: Online Diffusion Reinforcement with Forward Process 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 论文链接:https://arxiv.org/abs/2509.16117 代码仓库:https://github.com/NVla ...
我们正在找具身领域的合伙人......
具身智能之心· 2025-10-08 10:49
文章核心观点 - 公司面向全球具身智能领域从业者发出合作邀请,旨在通过多方协作推动行业进步 [1] - 合作旨在响应市场对公司在方案、数据采集、技术升级及企业培训等方面赋能的诉求 [1] 合作方向 - 技术方向涵盖VLA、VLN、Diffusion Policy、强化学习、VLA+RL、遥操作、动捕、sim2real、多模态大模型、仿真、运动控制、端到端、3D感知等前沿领域 [3] - 合作岗位涉及具身课程开发、方案研发、硬件研发以及面向B端(企业、高校、研究院所)和C端(学生、求职人群)的培训合作 [4] 合作模式与资源 - 公司将提供高额酬金与丰富的行业资源作为合作回报 [2] - 具体合作领域包括技术服务、培训、课程开发与科研辅导等 [1]
盘点下国内外那些做具身感知的公司们!
具身智能之心· 2025-10-08 10:49
文章核心观点 - 具身智能已成为全球新焦点 打造通用本体和大脑是创业公司、资本和产业界高度关注的突破方向[2] - 文章旨在全面梳理具身大脑领域国内外知名公司 分析其技术特点、产品布局和应用场景 为行业提供全景图[2] - 重点关注开发机器人"大脑"系统的企业 包括具身大模型、多模态感知决策系统等[3] 国内公司分析 自变量机器人 - 公司成立于2023年 聚焦"通用具身大模型"研发 以真实世界数据为主要来源构建具备精细操作能力的通用机器人[6] - 技术路线偏向"大脑" 坚持走端到端的具身通用大模型路线 成立不到两年已完成8轮融资[6] - 代表成果包括2024年10月推出的WALL-A模型 为全球目前最大参数规模的具身智能通用操作大模型Great Wall系列成员 能整合视觉、语言与运动控制信号实现感知到执行完整闭环[6] - 另一成果为开源具身智能基础模型Wall-OSS 具备强大泛化性和推理能力[6] 星海图 - 公司于2023年9月成立 专注于提供智能导航等大脑相关技术方案 坚持"一脑多形"理念[6] - 通过构建环境地图、路径规划等功能 为机器人在复杂环境中自主行动提供支持[6] - 代表成果为具身基础模型EFM-1 采用"快-慢双系统"模型架构 实现从感知理解到控制的闭环决策[6] 优必选 - 公司成立于2012年 是全球人形机器人商业化领导者 拥有全栈自研能力包括运动控制、关节模组、AI-Embodied系统等[10] - 作为国内人形机器人领域标杆企业 已在全球市场建立广泛品牌影响力和市场份额[10] - 代表成果为2025年自主研发的百亿参数基座多模态大模型Thinker 在机器人感知与规划领域三大国际权威基准测试中斩获四项全球第一[10] - 技术成果包括3D扩散策略DP3 仅需10次人类演示即可让机器人学会复杂操作任务 真实场景成功率高达85%[10] - 空间智能引擎RSR为全球首个real2sim2real引擎 实现低成本三维环境重建与仿真训练[10] 智元机器人 - 公司成立于2023年2月 聚焦AI与机器人深度融合 致力于打造世界级领先的通用具身智能机器人产品及应用生态[10] - 代表成果为2025年3月发布的智元启元大模型 基于Vision-Language-Latent-Action架构 融合多模态大模型与混合专家技术[10] - 该模型具有小样本快速泛化能力 任务成功率较市面模型提升32% 支持"一脑多形"的跨本体应用[10] - "具身智脑"分层系统包括云端超脑、大脑、小脑、脑干等部分 形成完整控制体系[10] 银河通用 - 公司成立于2023年5月 为核心技术与产品构建了三大技术壁垒 在合成数据驱动的多模态大模型方面自主研发全球首个"通用具身大模型"[10] - 采用"大脑+小脑"协同框架[10] - 代表成果包括全球首个端到端具身抓取基础大模型GraspVLA 展示无需大规模真实数据、仅通过合成数据达到基础模型预训练的能力[14] - GroceryVLA模型为首款面向零售商业化的端到端大模型 支持复杂零售场景下的精准商品识别与取送[14] - TrackVLA为产品级纯视觉端到端导航大模型 支持自然语言指令驱动 具备零样本泛化能力[14] 千寻智能 - 公司成立于2024年 为国内领先的AI+机器人全栈生产力级技术能力的具身智能公司 团队成员来自顶尖高校和知名企业[14] - 代表成果为Spirit V1 VLA模型 是国内首个攻克柔性物体长程操作难题的AI模型 通过视觉-语言-动作融合实现自然语言指令驱动的复杂任务[14] 星动纪元 - 公司由清华大学交叉信息研究院孵化 研发具身智能以及通用人形机器人技术和产品 聚焦通用人工智能前沿应用[14] - 代表成果为端到端原生机器人大模型ERA-42 是国内首个端到端原生具身大模型 支持机器人完成超过100种动态任务[14] - 该模型通过视频训练快速学习技能 降低数据采集成本 实现跨任务、跨本体迁移[14] 逐际动力 - 公司聚焦具身智能机器人研发与制造 围绕本体硬件设计制造、基于强化学习的全身运动控制、具身大脑训练范式三大核心技术构建具身Agent开发工具链[14] - 代表成果包括LimX VGM具身智能操作算法 利用视频生成技术推动具身大脑突破[14] - LimX DreamActor为全新具身智能训练范式 首次实现Real2Sim2Real、模仿学习和真机强化学习的深度结合[15] 穹彻智能 - 公司聚焦"以力为中心"的具身智能大模型和相关基础设施研发 为不同行业提供通用机器人智能解决方案[18] - 穹彻具身大脑结合先进算法和数据支持 具备指令推理、任务规划、物体分类、环境感知、自主导航等全闭环能力[18] - 代表成果穹彻具身大脑由实体世界大模型和机器人行为大模型组成 Noematrix Brain 2.0新增实体概念学习能力 支持3D模仿学习框架和视-触觉融合网络[18] 智源研究院 - 成立于2018年11月 核心目标是聚焦人工智能原始创新和核心技术 推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破[18] - 代表成果RoboBrain 2.0是新一代具身视觉-语言基础模型 以70亿和320亿参数的两种规格实现感知、推理与规划能力统一[18] 国外公司分析 Figure AI - 公司成立于2022年 总部位于美国硅谷 致力于开发具备人工智能能力的人形机器人以解决劳动力短缺、危险工作环境和老龄化社会等问题[21] - 代表成果Helix为通用视觉-语言-动作模型 采用独特"双系统"AI架构模仿人类"直觉"和"思考"的认知模式[21] Physical Intelligence - 公司成立于2023年1月 为美国具身大脑初创公司 专注于开发能为各类机器人和机器添加高级智能的软件[24] - 目标创建通用机器人系统的人工智能 将用于构建语言模型的技术与控制和指导机器的技术相结合[24] - 代表成果包括2024年10月31日发布的首个机器人通用基础模型π0 以及近期新开源的π0.5模型 后者采用"知识隔离"训练方法提升开放世界场景泛化能力[24] 谷歌DeepMind - 由DeepMind和Google Brain于2023年合并而成 聚焦通用人工智能研究 致力于开发能理解和适应物理世界的智能系统[24] - 代表成果Gemini Robotics基于Gemini 2.0的视觉-语言-动作模型 可直接控制机器人执行复杂任务 具备通用性、交互性和灵巧性[24] - Gemini Robotics-ER专注于具身推理 Project Astra为概念AI助理 集成Gemini技术通过摄像头和传感器理解物理环境[24] 英伟达 - 全球领先图形处理器设计公司 已发展为涵盖芯片设计、系统平台、软件生态、云计算服务、人工智能解决方案的全栈计算公司[24] - 代表成果Eureka系统基于GPT-4打造 可自动训练实体机器人动作指令 支持30余种复杂动作 具备零样本生成、编写代码和语境改进等能力[24] - GR00T N1开源模型采用双系统架构 包括快速反应的"系统1"和认知决策的"系统2" 实现接近人类运动控制能力[25] Skild AI - 美国领先机器人"大脑"研发企业 目标研发通用机器人操作系统 帮助机器人理解不同应用场景并驱动机器人自主实现智能精细化操作[28] - 代表成果Skild Brain通过摄像头图像和关节反馈直接控制机器人动作 采用分层架构适用于各种四足机器人、人形机器人、桌面机械臂、移动机械手等[28] Covariant - 专注于为机器人构建基础AI模型的公司 技术依赖于机器人与现实世界的交互产生的体验和反馈[28] - 代表成果RFM-1为世界上首个基于真实任务数据训练的机器人大模型 是参数80亿的transformer模型 支持任何模态输入、预测任何模态输出[28] 知名团队研究 - Meta和CMU联合打造RoboAgent 核心在于多任务动作分块Transformer架构 通过在现有机器人经验基础上创建多样化语义增强集合来倍增离线数据集[30] - Stanford李飞飞团队VoxPoser核心思想是利用VLM和LLM常识知识 借助模型生成代码将常识知识映射到三维空间供运动规划器使用 实现零样本合成日常操纵任务轨迹[30]
VLA的基础模型与大规模训练任务汇总
具身智能之心· 2025-10-08 10:49
视觉-语言-动作模型优化 - 机器人思维链推理通过预测中间表征提升策略性能与泛化能力,但存在依赖专用数据和推理速度慢的局限性 [3] - 研究提出推理提升性能的三种机制:更优表征学习、更完善学习课程化、更强表达能力,并设计简化变体验证每种机制作用 [3] - 基于机制理解提出两种轻量级机器人推理替代方案,在LIBERO-90基准实现最先进结果,推理速度较标准方法提升3倍 [3] - 利用视觉语言模型生成反事实标签扩充机器人数据集,解决现有数据语义多样性和语言接地性不足问题 [5] - 反事实重标记方法在无需额外采集数据下,使VLA模型导航任务成功率提升27%,指令跟随能力媲美最先进方法 [5] 机器人脑与操作能力构建 - 多模态大语言模型在机器人长周期操作任务中缺乏规划能力、可供性感知和轨迹预测三大关键能力 [7] - 引入ShareRobot高质量异构数据集,标注任务规划、对象可供性和末端执行器轨迹等多维度信息,基于此开发RoboBrain模型 [7] - RoboBrain结合机器人与通用多模态数据,采用多阶段训练策略,融入长视频和高分辨率图像,在各种机器人任务中实现最先进性能 [7] - 提出DROID大规模机器人操作数据集,包含7.6万条演示轨迹(350小时交互数据),由50名采集者在564个场景中完成86项任务 [9] - 利用DROID训练的策略在性能和泛化能力上均有提升,数据集及学习代码已开源 [9] 视觉表征与技能学习迁移 - 针对具身智能预训练视觉表征的最大规模实证研究构建CORTEXBENCH基准,包含17项任务,发现无单一表征在所有任务中占优 [13] - 整合超过4000小时第一视角视频(含超430万张图像)与ImageNet训练视觉Transformer,发现扩大数据规模多样性不普遍提升所有任务性能但平均有提升 [13] - 规模最大模型VC-1平均性能优于所有现有预训练视觉表征,任务或领域特异性适配可带来显著提升,适配后VC-1在所有基准任务上达到或优于最佳结果 [13] - 提出语义动作流作为中间表示捕捉操作者-物体交互,ViSA-Flow框架从无标签大规模视频数据中自监督学习该表示 [11] - ViSA-Flow在CALVIN基准和真实任务实现最先进性能,低数据情况下通过将知识从人类视频迁移到机器人执行超越现有方法 [11] 通用策略微调与模仿学习 - 通用机器人操作策略微调性能因策略设计选择而有显著差异,包括动作空间、策略头、监督信号及可调参数选择 [15] - 深入实证研究评估每个单一配置2500次rollout,低数据情况下精心选择的微调策略使GMPs显著优于最先进模仿学习算法 [15] - CACTI框架通过数据收集、增强、视觉表征学习和模仿策略训练四阶段实现机器人学习可扩展性,专注于多任务多场景操作 [17] - CACTI在真实机器人设置中训练单一策略完成10项厨房操作任务,在仿真环境中完成18项语义任务(每项100种布局变化) [17] - R3M视觉表示在Ego4D人类视频数据集上预训练,下游机器人操作任务中比从头训练成功率提高超过20%,比CLIP和MoCo提高超过10% [19] - R3M使机械臂在仅20次演示下于真实杂乱公寓环境中学习操作任务,作为冻结感知模块实现数据高效学习 [19]
面试的时候,问到了具身的大小脑算法是什么......
具身智能之心· 2025-10-08 10:49
文章核心观点 - 具身智能技术正经历从低层感知到高层任务理解与泛化的快速演进,其核心架构围绕“大脑”(负责语义理解和任务规划)和“小脑”(负责高精度运动执行)展开[3] - 技术发展已进入第四阶段,业界正探索将视觉-语言-动作模型与强化学习、世界模型、触觉感知等模块融合,以弥补现有模型在反馈、预测和多模态感知方面的局限[9][10] - 随着技术从研究走向产业落地,在工业、家居、餐饮、医疗康复等领域的应用产品及融资活动活跃,导致相关岗位呈现爆发式增长,对工程与系统能力的需求激增[10][14] 具身智能技术细分领域 - 主要细分领域包括仿真、视觉-语言-动作、扩散策略、视觉语言导航、世界模型和强化学习等多个子模块[5] - 视觉-语言-动作和世界模型目前在自动驾驶和具身领域同时发力,代表两个不同的技术路线[5] - 视觉-语言-动作当前研究热点为端到端和分层两种方案,分别基于大模型和扩散技术拓展,视觉-语言-动作+强化学习方案正成为学者探索方向[5] - 扩散策略作为动作模块负责学习具体动作和执行,主要有状态扩散、动作空间扩散、三维空间扩散等多个方向[6] - 仿真技术现聚焦于sim2real和real2sim2real,多家公司认可此方案以解决真机泛化差的问题,而非一味采集真机数据[6] - 视觉语言导航更关注目标导航,与移动操作相关联,map-free方案利于任务泛化[6] 技术演进阶段 - 第一阶段技术研究聚焦抓取位姿检测,通过点云或图像预测末端执行器姿态实现静态物体抓取,但策略多为单步决策,缺乏对任务上下文和动作序列建模[7] - 第二阶段进入行为克隆阶段,机器人借助专家演示数据学习从感知到控制的端到端映射,具备模仿人类完成复杂任务能力,但暴露出泛化能力弱、误差累积等问题[7] - 第三阶段(2023年起)扩散策略方法引入序列建模范式创新,通过扩散模型生成整个动作轨迹,更好捕捉任务执行时序结构与多样性,大幅提升策略稳定性与泛化能力[8] - 第三阶段延续(2024年)随大模型技术发展进入视觉-语言-动作模型阶段,强调多模态协同与任务泛化能力提升,代表性工作如OpenVLA、RT-2、PI0等,支持零样本或小样本快速泛化[8] - 第四阶段(2025年以来)业界与学界探索视觉-语言-动作模型与强化学习、世界模型、触觉感知等模块融合,以弥补当前模型局限[9] 技术融合与能力提升 - 视觉-语言-动作+强化学习结合提升机器人在长时任务中的试错能力与自我改进能力[10] - 视觉-语言-动作+世界模型引入环境动态预测,使机器人具备“想象未来”能力,有助于更高效进行规划与决策[10] - 视觉-语言-动作+触觉信息加入拓展从“看”到“看+触多模态融合”的具身感知边界,推动在复杂、非结构化环境下实现更精细、更安全的操作[10] 产业落地与能力需求 - 技术发展推动人形机器人、机械臂、四足机器人等产品在工业、家居、餐饮、医疗康复等领域落地,相关产品和融资络绎不绝,岗位呈现爆发式增长[10] - 产业界重视促使技术从“论文”走向“部署”,对工程能力提出更高要求,需掌握在Mujoco/IsaacGym/Pybullet等平台完成策略训练与仿真测试[14] - 工程能力需求包括训练并部署扩散策略/视觉-语言-动作/力触融合的视觉-语言-动作模型,实现强化学习在视觉-语言-动作后训练上的应用,以及从世界建模预测到策略学习再到物理执行的一体化架构[14]
普林斯顿大学最新!VLM2VLA:将 VLM 微调为 VLA,并避免灾难性遗忘
具身智能之心· 2025-10-07 18:00
文章核心观点 - 提出一种名为VLM2VLA的创新方法,通过将机器人动作数据转化为自然语言描述,解决了视觉语言模型在微调为视觉语言动作模型时出现的灾难性遗忘问题 [2][3] - 该方法的核心是将低维动作向量转化为与VLM预训练数据分布一致的自然语言,从而仅需使用低秩适应技术进行高效微调,最大程度保留VLM原有的多模态理解和推理能力 [3][4] - 通过超过800次真实机器人实验验证,该方法在保留VLM核心能力的同时,实现了在新任务中的零样本泛化,尤其在多语言指令遵循和开放世界语义推理方面表现显著优于基线模型 [4][17][22] 技术方法 - 采用三级推理过程将动作预测层级化,全部使用自然语言描述:高层子任务预测、中层运动规划和低层动作生成,完全复用VLM的现有词汇表 [6] - 通过Gemini 2.5自动将原始机器人轨迹数据集重构为语言标注数据集,使数据格式与VLM预训练数据保持一致,解决了分布不匹配问题 [9] - 仅使用LoRA对Gemma-3-12B-IT模型的线性层进行微调,关键超参数包括LoRA秩为16、LoRA alpha为32、学习率为5e-5,不修改VLM基础架构且无需联合训练 [12][13] 实验验证与性能 - 在12个VQA基准测试中验证了模型对预训练多模态理解能力的保留程度,证明其有效避免了灾难性遗忘 [15] - 在分布内任务上性能接近基于更大数据集训练的OpenVLA,在复杂多步骤任务中因层级推理优势表现更佳 [17] - 在分布外任务中优势显著,多语言任务成功率依赖保留的语言能力,语义任务依赖预训练的常识推理,如在识别"Ash Ketchum"任务中成功率达60%,而基线模型完全失败 [17][22] 局限性与未来方向 - 自回归生成动作导致推理延迟较高,中位延迟为6.1秒,需优化解码策略 [19] - 当前仅支持平移自由度控制,无法处理旋转等灵巧动作,且模型针对特定机械臂训练,需探索更通用的"动作语言"表示 [22] - 依赖Gemini作为外部验证器判断子任务完成度,未来需将验证能力融入VLM本身,并扩展更大规模的机器人语言标注数据集以提升泛化能力 [19][22]