文章核心观点 - 中国电信人工智能研究院提出了一种名为"对齐-引导-泛化"的VLA跨本体泛化框架，旨在解决视觉-语言-动作模型在后训练阶段面临的跨本体适配挑战 [1][2] - 该框架的核心思想是在潜空间中对齐跨本体动作分布，并利用统一潜空间梯度引导VLA策略更新，实现了从调架构向调分布的范式转移 [2][9] - ATE框架能够适配Diffusion和Flow-Matching等主流VLA模型，极大减少了VLA跨本体适配的数据需求，在仿真和真实机器人实验中均表现出显著性能提升 [2][16] 研究背景与动机 - 现有VLA基座模型在进行目标场景应用时，需要采集数十至数百小时目标本体数据完成后训练，当预训练和后训练阶段动作分布出现严重失配时，引发跨本体适配挑战 [1] - 决定VLA能否进行跨本体迁移的关键是预训练阶段与后训练阶段动作分布的一致性，而非参数规模或主干架构复杂度 [5] - 当目标本体的机械臂构型、执行器形态、关节自由度等发生变化时，目标动作分布会偏离预训练阶段学得的动作分布域 [5] ATE框架方法论 - ATE框架分为两个阶段：第一阶段构建统一动作潜空间并对齐动作分布，第二阶段设计引导函数并利用分类器引导VLA模型更新 [9] - 在潜空间对齐阶段，通过训练两个小型变分自编码器模型，将适配数据的潜变量分布逼近预训练潜分布的某一模态 [17] - 在引导阶段，通过能量函数和分类器衡量生成动作与目标动作分布的差异，将引导梯度整合进训练目标函数中，对生成轨迹的分布施加"拉力" [14] 技术优势 - ATE框架带来三方面优势：样本效率提升、训练效率提升、工程可复用性增强 [10] - 潜空间对齐将策略搜索范围约束在包含目标分布域的流形上，显著降低了拟合到可行动作分布所需的数据量 [10] - 分布引导避免模型全参数重训练，在既定训练预算内获得更快的有效收敛，且与顶层模型解耦，具备即插即用特性 [10] 实验结果 - 在ManiSkill与RoboTwin 1.0等多任务仿真评测中，ATE相较于直接后训练，平均多任务成功率最高提升9.8% [16] - 在真实机器人跨本体现实场景中，ATE带来最高32%的成功率增益，且表现出更稳健的收敛行为与对光照、干扰的鲁棒性 [16] - 具体任务表现：RDT在Empty Cup Place任务成功率由22%提升到61%，Pi-0在Dual Bottles Pick任务上成功率由48%提升到85% [18] - 从样本效率角度，ATE在70k步即可超过传统RDT的90k步效果，说明对齐-引导机制显著提升了任务成功率 [18] 实际应用验证 - 在自行搭建的双臂睿尔曼实验环境中，ATE算法能够将基座RDT和Pi-0等VLA模型快速适配到目标本体上 [20] - 在需要双臂协同、时序规划与多阶段配合的分钟级长程任务上，ATE框架能使模型更快地收敛到目标域动作分布 [20] - ATE框架在未见的光照、杂物干扰、空间偏移与外部干预下仍能维持任务相关注意与恢复能力 [22]

VLA科研背景与介绍 VLA，Vision-Language-Action模型，是具身智能领域的新范式，从给定的语言指令和视觉信号，直接生成出机 器人可执行的动作。这种范式打破了以往只能在单个任务上训练大的局限性，提供了机器人模型往更加通用，场 景更加泛化的方向发展。VLA模型在学术界和工业界的重要性主要体现在其将视觉信息、语言指令和行动决策 有效整合，显著提升了机器人对复杂环境的理解和适应能力。 VLA打破了传统方法的单任务局限，使得机器人能够在多样化的场景中自主决策，灵活应对未见过的环境，广 泛应用于制造业、物流和家庭服务等领域。此外，VLA模型已成为研究热点，推动了多个前沿项目的发展，如 pi0、RT-2、OpenVLA、QUAR-VLA和HumanVLA，这些研究促进了学术界与工业界的合作。其适应性体现在能 够应用于机械臂、四足机器人和人形机器人等多种平台，为各类智能机器人的发展提供了广泛的潜力和实际应用 价值，成为智能机器人领域的关键驱动力。 从产业角度看，国内外具身智能领域正处于蓬勃发展阶段，Unitree、智元、星海图、银河通用、逐际动力等团 队从实验室走向商业化，华为、京东、腾讯等科技巨头也积 ...

行业人才现状与挑战 - 具身智能行业面临系统性人才培养体系缺失的问题，导致人才在数量和质量上均显不足 [1] - 当前从业者背景多元，主要包括自动驾驶、大模型、传统机器人以及其他工程领域，但普遍缺乏完整的技术闭环 [1] - 行业发展迅速，但教育体系转型滞后，许多新入行者缺乏正规指导，呈现“野路子”现象 [1] 社区平台价值与规模 - “具身智能之心知识星球”是国内首个具身全栈技术社区，集视频、图文、学习路线、问答、求职交流于一体，目前拥有近2000名成员 [3] - 社区目标在未来2年内将规模扩大至近万人，旨在打造技术分享与交流的聚集地 [3] - 社区已汇聚近200家具身公司与机构成员，成员来自斯坦福大学、清华大学、智元机器人、优必选等国内外顶尖高校和头部企业 [16] 社区核心内容与资源 - 社区汇总了超过40个开源项目、近60个具身智能相关数据集以及行业主流仿真平台 [17] - 提供了近30条技术路线，覆盖从Benchmark、综述到入门学习的全方位内容 [4] - 整理了包括具身智能感知、交互、VLA、强化学习、机器人导航等在内的17个以上技术子领域的学习路线 [17][44][46][48][50][52][54][58][60][62][64][66][69][71][73][75] 技术交流与前沿探讨 - 社区定期举办圆桌论坛和直播，内容涵盖机器人本体、数据、算法等前沿话题 [4] - 社区问答板块活跃，针对设备使用、数据采集、模型部署等实际问题提供快速解答 [3] - 具体技术讨论包括VLA模型泛化差的原因与解决方法、BridgeVLA方案带来的真机性能提升32%、以及Sim2Real等核心挑战 [4] 职业发展与产业对接 - 社区与多家具身公司建立内推机制，为成员提供求职岗位第一时间对接 [7] - 社区内汇总了国内外具身智能高校和公司信息，为成员深造和职业选择提供参考 [21][22] - 行业观察显示，具身智能目前发展阶段对标自动驾驶17/18年，仍存在入场窗口期，技术栈与自动驾驶有较高通用性 [79][81]

赛事概览 - 上海人工智能实验室将于2025年10月IROS会议期间举办“物理世界中的多模态机器人学习研讨会”并同期举行“桃源”机器人学习挑战赛 [1] - 挑战赛旨在推动具身智能技术从仿真到现实应用的关键跨越 设置操作与导航2大赛道 [1] - 赛程分为线上仿真阶段和线下决赛阶段 线上赛在“桃源 Intern·Utopia”通用具身仿真平台进行 [1] 技术平台与引擎 - 上海人工智能实验室发布了“书生”具身全栈引擎Intern-Robotics 通过虚拟仿真建模、虚实数据贯通等技术体系 一站式解决具身智能从数据、训练到应用的全链条难题 [1] - 该引擎旨在推动具身大脑从“碎片化开发”迈向“全栈化量产”时代 [1] 赛道一：视觉语言操作任务 - 任务聚焦于开放桌面场景 要求构建具备语言理解与执行能力的多模态机器人操作系统 [6] - 参赛者需设计端到端操控策略模型 实现从视觉感知、语言指令理解到动作控制预测的完整流程 [6] - 机器人需控制机械臂完成复杂指令引导下的多种操控任务 [6] 赛道二：视觉语言导航任务 - 任务聚焦于物理环境 要求构建具备语言理解能力的多模态移动机器人导航系统 [9] - 参赛者需设计感知-决策模型 实现从视觉感知、语言指令理解到导航动作预测的完整流程 [9] - 机器人需驱动足式机器人在语言引导下完成室内导航 并应对视角抖动、高度变化及局部避障等挑战 [9] 赛事挑战 - 赛道一主要挑战包括融合语言与视觉信息驱动一体化流程 长程操作任务的稳定性与自我纠偏 以及应对多样化场景和指令的模型泛化能力 [11] - 赛道二主要挑战包括在物理引擎中稳健处理行走过程中的视角抖动与避障 以及应对复杂新场景与指令的泛化能力 [17] 奖励与支持 - 赛事总奖励价值近百万元人民币 包括奖金、奖品和机器人代金券等 [18] - 每个赛道冠军团队可获得70,000元人民币奖金 第二名35,000元 第三名21,000元 [18] - 优胜团队将受邀在IROS Workshop展示算法方案 并与领域专家交流 优秀参赛者有机会参加上海AI实验室的前沿学术活动 [2] - 赛事由上海AI实验室主办 群核科技与阿德莱德大学协办 并获字节跳动、华为等多家企业联合赞助 [2] 赛程安排 - 2025年7月25日报名启动及赛事材料包发布 7月30日测试服务器上线 [18] - 2025年9月30日提交截止 10月18日进行线下挑战 10月20日在IROS 2025现场颁奖 [18] - 上海AI实验室将于2025年10月20日在IROS大会现场举办研讨会 多位国内外顶尖专家将出席分享 [19]

研究核心观点 - 研究聚焦移动操纵机器人遥操作界面设计 探索控制范式与视觉反馈模态对长期任务性能的影响 旨在平衡具身感 认知负荷与任务效率[3] - 研究发现解耦具身控制器(SBC)比耦合具身控制器(WBC)任务完成时间短169秒(p=0.025) 操作更灵活[19] - 带VR视觉反馈使任务完成时间增加142秒(p=0.026) 并显著降低操作者可用性(SEQ p=0.003, UMUX p=0.006) 增加认知与体力负荷[19][22][23] - 耦合具身控制器(WBC)收集的数据更适合模仿学习 训练的策略成功率80% 而SBC数据训练的策略成功率为0%[32] 研究背景与目标 - 移动操纵机器人数据集稀缺 核心瓶颈在于移动性扩大操作空间的同时增加控制与反馈复杂度[3] - 研究针对长期移动操纵任务 需全身协调 误差恢复及长时间操作稳定性 是此前研究忽视的复杂场景[3] - 核心目标是探索控制范式(耦合具身/解耦具身)与视觉反馈模态(VR/传统屏幕)对操作者体验的协同影响[3] 遥操作系统设计 - 系统以PAL Tiago++全向底座机器人为控制对象 搭配HTC Vive Pro VR设备 测试4种界面组合[5] - 解耦具身控制器(SBC)将底座运动与臂运动独立控制 臂控制采用逆运动学求解器以30Hz运行 底座控制采用3D方向舵[6] - 耦合具身控制器(WBC)以15Hz频率运行 通过任务空间逆动力学实现全身控制 支持末端执行器模式与全身操纵模式切换[6] - 视觉反馈模态差异在于操作者获取机器人视野的方式:带VR模态可切换3个立体相机视角 无VR模态通过外部屏幕查看视频流[12] 实验设计与评估 - 采用混合设计方案:控制器为被试间变量(WBC/SBC) 反馈模态与尝试次数为被试内变量(带VR/无VR, Trial 1-3)[9][10] - 20名被试按VR经验 电子游戏经验等多维度分层 确保两组控制器被试特征均衡[13] - 评估指标涵盖行为指标(任务完成时间 成功率 工效学数据)与态度指标(可用性问卷 工作负荷问卷 模拟眩晕问卷)[15][18] - 单名被试实验时长约2小时 包含仿真训练 真实场景训练与任务测试环节[14] 关键研究发现 - 任务完成时间受反馈模态与控制器显著影响:带VR模态增加142秒 SBC比WBC缩短169秒 Trial次数存在边际学习效应(减少31.64秒/次,p=0.12)[19] - 所有条件下任务成功率均较高(平均得分9.4/10) 控制器类型 反馈模态与Trial次数均无显著影响[19] - 带VR模态显著降低可用性(SEQ p=0.003, UMUX p=0.006) 操作者认为VR模式下任务更难[22] - 带VR模态下认知需求 体力需求更高 性能感知更低 整体负荷显著上升 NASA TLX问卷显示负荷得分落入"高负荷"区间[23] - 控制器对负荷维度影响不同:SBC引发更高物理需求(p=0.02) WBC引发更高挫折感(p=0.009)[23] - 工效学评估显示长期操作存在中等肌肉骨骼风险(RULA平均得分4.12±0.27) 风险主要来自上臂与手腕[26] - WBC的质心偏差波动显著大于SBC 因底座运动需通过控制器位姿差异激活 导致身体姿态调整更频繁[26] 专项分析 - SBC用户在带VR模态下使用机器人头部相机比例60.4±38% 显著高于WBC用户36.8±39%(p<0.0001) 表明具身感更强[32] - 真实场景中VR引发的眩晕感接近显著水平 优化视频流延迟与分辨率可降低眩晕[32] - 仿真训练有效性获认可(OATS评分4.8±1.2/7分) 但任务难度感知显著高于真实场景(带VR p=0.015 无VR p<0.0001)[32] - 模仿学习实验中WBC数据训练的策略成功率80% SBC数据训练策略成功率0% 因SBC数据缺乏臂-底座耦合信息[29][32]

行业交流活动 - 行业正围绕具身智能的遥操作技术建立专业交流社群 [1] - 社群面向相关技术方向的研究人员及从业者开放加入 [1] - 加入渠道需通过指定助理微信并备注机构及专业信息 [2]

所以这个基础上，大家如果感兴趣可以放开手做事情，数据、本体、算法都能大有所为。由于具身发展时间较 短，很多同学也苦于没有体系和路线，具身智能之心为了解决这类痛点，研发了几门具身领域的教程，还有一 个很不错的具身社区供大家学习。 开学季大额优惠 智能之川 学 福 H 利 男 DFT 9.1-9.14号 时间 活动说明 299元限时超级折扣卡: 全课七折 喜 具身课程七折优惠 (一年期) 具身智能之心知识 減 減66元 星球立减66 最高抵扣 具身智能论文辅导 托 1000普宣抵扣10000 10000 课程和社区亮点 又到了九月的开学季，实验室里已经可以陆续听到敲代码的声音了。还记得之前通宵调试机器人小车的校园时 光，转眼间机器人算法也从传统的pipeline方案发展到端到端。最近有个小朋友找峰哥，保研马上要开学了， 导师让我自己去看具身智能方向，不知道这个领域怎么样...... 从技术上来说，具身算法对全局的感知能力有进一步提升。一个抓取工作，早期方案首先通过姿态识别和3D 视觉完成感知，然后到规划执行，再到抓取。过程繁琐，泛化性差。而目前的VLA或者VA方案，通过学习的 方式让机器人能够丝滑的动起来。不乏有 ...

文章核心观点 - 字节跳动提出统一视觉-语言模型Robix 作为机器人高层认知中枢 通过端到端架构整合推理 规划与交互能力 解决现有分层系统在动态场景中的能力割裂问题[2][3][5] - Robix通过三阶训练策略(持续预训练 有监督微调 强化学习)实现物理世界感知与人类需求适配 在基础推理 离线规划和在线场景中超越主流商业模型[5][13][22] - 模型在真实场景测试中任务进度达92.5-92.6% 较Gemini-2.5-Pro提升4.3个百分点 响应延迟更低 展现更强的物理操作适配性[29][32] 技术架构与工作机制 - 采用分层系统设计 Robix作为高层认知层处理多模态推理与任务规划 低层控制器执行原子动作指令形成感知-推理-动作闭环[7][8] - 输入包含视觉观测 用户指令和历史交互记录 输出原子动作指令 自然语言回复和结构化思考轨迹三大类型[9][11] - 支持复杂指令理解 实时中断处理 任务状态监测和主动对话四大核心交互能力[12] 训练策略与数据构建 - 持续预训练使用2000亿tokens数据 包含3D空间理解(400亿) 视觉定位(700亿) 任务中心推理(100亿)和通用多模态推理(900亿)四类数据集[13][14] - 有监督微调通过合成7类交互指令数据 涵盖多阶段指令 约束指令 实时中断处理和模糊指令澄清等场景[17][18][19] - 强化学习采用GRPO算法 引入思考-动作一致性奖励机制 解决推理与动作脱节问题[22][23] 性能表现 - 基础具身推理：Robix-32B在VSIBench得分50.9超Gemini-2.5-Pro(43.4)7.5个百分点 在LVIS-MG达79.2超开源模型最高值73.8[24][25] - 离线任务规划：Robix-32B-RL在OOD任务准确率86.8% 超Gemini-2.5-Pro(83.8%)3个百分点 在ID任务超开源模型28.1-64.6个百分点[27] - 在线真实场景：搭配自动VLA控制器时任务进度92.5% 超Gemini-2.5-Pro(88.2%)4.3个百分点 超GPT-4o(64.4%)28.1个百分点[32] 优势与局限 - 核心优势体现在统一性(单模型整合三大能力) 灵活性(支持动态重规划)和泛化性(OOD任务持续领先)[35][38] - 主要局限为动态场景鲁棒性不足 高频场景切换可能出现推理漏洞 且依赖短期记忆窗口难以支持长时交互[38]

VLA科研背景与介绍 VLA，Vision-Language-Action模型，是具身智能领域的新范式，从给定的语言指令和视觉信号，直接生成出机 器人可执行的动作。这种范式打破了以往只能在单个任务上训练大的局限性，提供了机器人模型往更加通用，场 景更加泛化的方向发展。VLA模型在学术界和工业界的重要性主要体现在其将视觉信息、语言指令和行动决策 有效整合，显著提升了机器人对复杂环境的理解和适应能力。 VLA打破了传统方法的单任务局限，使得机器人能够在多样化的场景中自主决策，灵活应对未见过的环境，广 泛应用于制造业、物流和家庭服务等领域。此外，VLA模型已成为研究热点，推动了多个前沿项目的发展，如 pi0、RT-2、OpenVLA、QUAR-VLA和HumanVLA，这些研究促进了学术界与工业界的合作。其适应性体现在能 够应用于机械臂、四足机器人和人形机器人等多种平台，为各类智能机器人的发展提供了广泛的潜力和实际应用 价值，成为智能机器人领域的关键驱动力。 从产业角度看，国内外具身智能领域正处于蓬勃发展阶段，Unitree、智元、星海图、银河通用、逐际动力等团 队从实验室走向商业化，华为、京东、腾讯等科技巨头也积 ...

行业背景与公司定位 - 具身大模型技术不断突破推动人形机器人进入千行百业 通用智能发展前景清晰可见 [2] - 公司为全球领先具身智能大模型通用机器人企业 成立于2023年5月 专注于通用机器人产品开发 [4] - 产品已广泛应用于商业 工业 医疗场景 在北京 深圳 苏州 香港设研发中心 与北京大学 北京智源人工智能研究院 宣武医院 中关村学院建立联合实验室 [5] 技术研发与产品突破 - 2024年6月发布首代全自研具身大模型机器人Galbot G1 [6] - 2025年1月发布全球首个端到端具身抓取基础大模型GraspVLA [6] - 2025年5月全球首个人形机器人智慧零售方案落地 获100家门店订单 [6] - 2025年6月发布产品级端到端具身导航大模型TrackVLA 同期推出零售行业端到端具身大模型GroceryVLA [7] - 2025年6月发布全球首款全开源多机型跨虚实人形机器人全身遥操作系统OpenWBT [7] - 2025年8月发布Galbot G1 Premium 成为全球首台搭载英伟达最新Jetson Thor芯片的机器人 [7] 市场成就与行业认可 - 2025年8月Galbot作为唯一官方机器人平台独家支持IOAI国际人工智能奥林匹克学术活动 [7] - 2025年8月在世界人形机器人运动会分拣技能竞技项目中夺冠 [7] - 核心团队拥有十余年机器人产业经验 成功主导千万级智能硬件产品量产 具备卓越商业化实战能力 [5] 人才战略与研发方向 - 招聘2026届海内外高校毕业生 要求热爱学习 追求落地实践 信奉长期主义 [9] - 主要工作方向包括具身多模态大模型 人形强化学习控制 机器人规划与控制 机器人硬件与量产 具身软件系统开发 [9][10] - 岗位分布在北京 深圳 苏州三地 提供18个校招职位 [9][19]