文章核心观点 - 提出一种名为DexUMI的数据采集与策略学习框架，通过硬件和软件双重适配，以人手作为自然接口将灵巧操作技能迁移至多种灵巧手 [4] - 该框架相比传统遥操作方法，数据采集效率提升3.2倍，在多项复杂任务中平均成功率高达86% [10][35] - 框架验证了其有效性，特别是在国产灵巧手星动XHAND 1上表现出色，为大规模灵巧手现实数据高效采集建立了新范式 [7][35][38][40] DexUMI框架的技术原理 - **硬件创新**：为每款灵巧手设计专用可穿戴外骨骼装置，通过硬件优化参数精准匹配灵巧手指运动轨迹，并采用编码器、150°广角相机和iPhone ARKit技术追踪关节运动和手腕位姿 [19][20][23] - **软件适配**：采用包含四个步骤的数据处理流水线，包括人手与外骨骼分割、环境背景修复、生成对应灵巧手视频、机器人示教视频合成，确保训练与部署阶段视觉输入一致 [24][25][28][29] - **核心优势**：直接提供触觉反馈，而典型遥操作系统通常无法提供，同时效率远超传统遥操作方法 [37] 实验验证与性能表现 - **测试平台**：在两种灵巧手硬件平台上验证，包括欠驱动的Inspire手（12自由度，6主动自由度）和全驱动的星动XHAND 1（12个主动自由度） [10][34] - **任务设置**：包含立方体任务、蛋盒开启、茶艺操作、厨房任务等四项现实任务，测试基础操作精度、复杂手型控制、长时序任务综合能力 [31][34] - **关键结果**：软件适配对弥合视觉差距至关重要，在两种灵巧手上均表现优异，平均任务成功率达到86% [10][35] 星动纪元XHAND 1的突出表现 - **技术特点**：采用全驱动设计和独特的关节全直驱技术，具备12个主动自由度，并配备指尖270度覆盖的高精度触觉传感器 [34][40][42] - **任务表现**：单独完成了包含四个连续步骤的厨房长序列任务，展示了在长时序任务中结合精确动作、触觉感知及非指尖操作的综合能力 [40] - **行业意义**：其卓越表现为协同打造科研基础设施、建立数据采集共享社区提供了可能，将加速灵巧操作在实际应用场景的落地 [42]

文章核心观点 - 具身智能领域正面临数据来源的根本性选择：是依赖仿真的效率、真实数据的真实性，还是寄希望于新兴的世界模型技术来弥合差距 [2] - 仿真数据与真实数据各有优劣，当前行业可能处于并将长期处于依赖仿真数据的阶段，但真实数据在特定场景下不可或缺 [14][15][20] - 世界模型（如Genie 3）被视为未来重要方向，但其在奖励机制设计、高维度动作生成等方面仍面临挑战，且计算资源限制其发展 [21][22][23][24][25] 对Sim-to-Real Gap的理解 - Sim-to-Real gap的核心是仿真对真实世界模拟不完全，存在视觉与物理细节还原不足的问题，例如物体的摩擦力、光影效果等差异 [3] - 该差距导致模型泛化能力弱，仅适配特定场景，缩小差距需围绕数据优化，包括结合模型需求设计虚拟与真实数据配比 [3] - 阴影问题可作为判断模型对真实世界理解程度的有效依据，例如通过观察模型能否正确利用阴影信息来停止操作 [3] 仿真数据与真实数据的价值与应用 - 真实数据在同等数量下训练效果优于仿真数据，但具身智能领域真实数据体量远不及自动驾驶，存在巨大缺口 [15] - 仿真数据在当前阶段的关键作用在于基础模型迭代和测试，可避免真机实验中烧电机、损坏关节等难以估量的损失 [15] - 仿真在强化学习规模化上潜力巨大，良好构建的仿真器可通过大规模并行训练让模型学习真实数据中难获取的场景 [18] - 仿真数据的核心优势包括代码复用性强（更换机器人时仿真代码基本无需改动）以及在教育领域可显著降低学习门槛 [21] - 长期来看，仿真数据是更有效的解决方案，只有在仿真无法满足需求时才考虑使用真实数据进行补充 [20] 世界模型的研究现状与挑战 - 世界模型应用于自动驾驶、具身智能的方向正确，但存在“小世界模型”路径是否可行以及奖励设计与下游任务衔接两大核心问题 [21][22] - Genie 3能够从文本生成可交互的动态环境，其核心优势是将“动作”与“观测”良好结合，但面向机器人场景时，当前动作维度（如六维、七维）不足 [24][25] - 未来12-18个月内，最重要的科学问题是如何在世界模型中引入reward（奖励机制），因为action和observation已有较好发展 [24] - 世界模型研究无需大量计算资源，学术界应聚焦用小资源就能探索的学术问题，这类研究更易出成果 [22] - 可引入力、触觉等新模态来丰富世界模型，聚焦其物理规律相关问题 [23] 技术案例分析与发展方向 - RoboTwin项目展示了数据配比的重要性：1.0版本服务小模型，虚拟与真实数据配比约300:20；2.0版本服务大模型，配比达上千：几十 [7] - 在自动驾驶领域，仿真测试已被验证更快速、省时省力且安全，大量安全性测试必然依赖仿真 [14] - 数字人技术中的Sim-to-Real应用是一大突破，可实现输入任意一句话指定表情，让数字人实时展示相应脸部动作 [11] - 波士顿动力机器人的“丝滑”表现得益于其出色的硬件技术方案、运动控制（运控）水平以及经过大量调整优化的推理架构 [26][28][30][31][32] - 传统控制的相关技术值得被结合、借鉴到现代具身智能中，以提升机器人动作的流畅性 [32]

CoRL 2025 最佳论文获奖情况 - 最佳论文奖授予北京通用人工智能研究院、宇树科技、北京邮电大学等团队的成果"Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation"，研究内容为力/位混合控制模型 [1][7] - 最佳学生论文奖由加州大学伯克利分校团队获得，论文题目为"Visual Imitation Enables Contextual Humanoid Control"，主要涉及跨具身智能体的运动控制 [3][7] CoRL 2025 入围决赛研究项目 - LocoFormer: Generalist Locomotion via Long-context Adaptation，研究内容为跨具身智能体的运动控制，参与机构包括Skild AI [7] - Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning，研究内容为双臂规划和控制策略学习模型，参与机构包括MIT、ETH、Autodesk、Texas A&M University [7] - DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation，研究内容为人和机器人交互、数据收集、策略学习等，参与机构包括斯坦福、哥大、JP摩根、CMU、英伟达 [7] - The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio，研究内容为生成+多模态 Sim2Real，参与机构为加州大学伯克利分校 [7] - Pi 0.5: a Vision-Language-Action Model with Open-World Generalization，研究内容为VLA最优模型，参与机构为物理智能Pi [7] - Steering Your Diffusion Policy with Latent Space Reinforcement Learning，研究内容为生成模型+RL，参与机构为加州大学伯克利分校 [7] 具身智能行业技术焦点 - 行业关注方向包括具身智能相关的数据集、仿真平台、VLA、VLN、具身大脑、具身小脑、大模型、视觉语言模型、强化学习、Diffusion Policy等 [9] - 机器人应用领域涵盖机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等 [9][12]

视觉-语言-动作模型综述的核心观点 - 该综述系统性地总结了纯视觉-语言-动作方法的研究现状，旨在填补现有综述在纯VLA方法上的空白，并提出清晰的分类体系以阐明该领域的演进轨迹 [4][8] - VLA模型通过提供统一框架将视觉感知、语言理解和可执行动作相结合，标志着通用具身智能发展的重要一步，其目标是克服传统机器人系统在动态和非结构化环境下泛化能力差的问题 [11][14] - 该领域正从单一生成范式向混合架构演进，结合自回归、扩散和强化学习等多种范式的优势，以应对复杂任务，并朝着更高效、安全且易于部署的通用机器人系统发展 [18][56][57] 背景与发展脉络 - VLA模型的发展建立在单模态建模突破的基础上，早期LLM/VLM基础模型如Transformer架构和对比学习方法为多模态整合奠定了方法学基础 [12][13] - 从LLM/VLM到VLA模型的演进体现在将图像、指令和机器人状态统一编码为token，并通过自回归生成动作序列，从而在单一序列建模框架下实现感知-语言-动作的闭环 [14] - VLA模型被视为实现通用具身智能的关键前沿，其通过结合视觉编码器、大语言模型和强化学习的决策能力，展现出弥合“感知-理解-行动”鸿沟的重要潜力 [17] VLA方法学范式 自回归范式 - 自回归模型通过将动作序列视为时间相关过程，在Transformer架构中统一多模态感知和动作生成，支持跨任务泛化的通用代理，代表性工作包括Gato、RT-1/RT-2和PaLM-E [19][21] - 该范式通过引入LLM实现语义规划和分层推理，增强了长时任务和复杂指令的处理能力，但面临误差累积、多模态对齐脆弱以及高计算成本等限制 [24][26][32] - 结构优化方向聚焦于降低计算冗余和提升实时性，采用层级分解、自适应推理和轻量化压缩等策略，以改善部署效率 [30][31] 扩散范式 - 扩散模型将机器人控制重新表述为概率生成问题，通过条件去噪过程支持多样化的动作分布生成，在几何一致性（如SE(3)约束）和视频生成式规划方面展现出优势 [33][37] - 多模态架构融合趋势将Transformer与扩散模型结合，实现异质模态的统一表征，并引入显式推理模块和领域专用设计（如力觉感知）以提升性能 [38][39] - 应用优化方向通过轻量化设计（如TinyVLA）、认知启发式架构和运行时鲁棒性机制，推动模型从实验室原型向真实世界部署过渡 [40][42][44] 强化学习范式 - 强化学习微调策略通过视觉和语言信号生成可迁移的奖励代理，结合离线行为克隆和在线强化学习稳定策略优化，并扩展至四足机器人、人形机器人和自动驾驶等场景 [48][51][53] - 安全导向方法如SafeVLA引入约束学习对齐机制，在开放环境中防止高风险动作，但奖励工程的噪声信号和训练稳定性仍是挑战 [50][54] - 效率优化策略采用量化、剪枝和知识蒸馏等技术，在保持任务成功率的同时降低内存使用和提升推理速度 [53] 混合与专用方法 - 混合架构整合自回归、扩散和强化学习等多种范式，以兼顾推理精度与动作生成的物理一致性，代表性工作如HybridVLA在单一框架中结合扩散轨迹和自回归推理 [56][57] - 高级多模态融合强调3D空间理解和显式几何约束建模，从早期2D特征拼接转向模块化、具3D意识的架构，以提升在非结构化环境中的操作可靠性 [59][60] - 领域适配将VLA原则扩展至自动驾驶、人形机器人控制和GUI交互等特定场景，通过专用数据集（如CoVLA）和层级化设计解决领域独特挑战 [61][62] 数据集与仿真资源 - 高质量数据集是VLA模型发展的基石，真实世界数据集如Open X-Embodiment整合了来自21个机构的22个机器人数据集，覆盖527种技能和160,266个任务，显著提升了模型的泛化能力 [16][71][76] - 仿真数据集通过虚拟环境生成大规模标注数据，支持可扩展训练和安全测试，代表性平台包括THOR、Habitat和CARLA，它们提供了多样化的交互场景和传感器配置 [16][80][81] - 基准评测常用成功率、语言跟随率和轨迹误差等指标，并通过迁移到未见环境评估模型的鲁棒性，仿真基准如VIMA-BENCH和CALVIN设计了多级协议以系统化测试泛化能力 [76][79][82]

行业竞争格局 - 国内具身智能领域公司数量已接近200家，包括机器人公司、互联网公司和二级研究院，业务和产品相似度高，行业面临内卷 [1] - 部分公司选择将本体研发与应用场景验证分离，通过开发者验证后集成算法，这种策略被认为更聪明，有助于度过行业寒冬 [1] - 行业洗牌是必然趋势，真正能留存下来的将是技术栈丰富、能实现落地应用的公司，抱着"捞一波"心态的企业难以长久 [1] 技术社区生态 - 具身智能之心知识星球定位为超大型具身与机器人社区，覆盖产业、学术、求职和问答交流，形成闭环生态 [5] - 社区汇总近30+技术路线，包括benchmark、综述和入门路线，帮助用户缩短检索时间 [6] - 社区邀请数十位一线产业界和工业界嘉宾，提供圆桌论坛、直播等内容，覆盖本体、数据到算法等前沿话题 [6] 技术研究覆盖范围 - 社区技术内容全面覆盖数据采集、灵巧手、VLA模型、VLN模型、多传感器融合、分层感知操作、机器人操作系统等15个核心领域 [7] - 具体研究方向包括RoboTwin 2.0数据生成器、BridgeVLA模型真机性能提升32%、具身4D世界模型EnerVerse等前沿技术突破 [7] - 社区还关注触觉感知、大模型规划推理、模型加速、微调等细分领域，如Spec-VLA推测解码框架等创新方案 [7] 资源整合与学习体系 - 社区汇总40+开源项目、60+数据集、主流仿真平台及各类技术学习路线，包括具身智能感知、交互、强化学习等10余个方向 [15][16] - 学习体系涵盖从基础到进阶的全栈内容，包括机械臂策略学习、双足/四足机器人、大模型部署等实用技能 [16] - 社区还提供国内外高校实验室汇总、公司汇总、行业研报、零部件品牌、开源数据集等全方位资源支持 [19][23][25][30][35][38] 社区影响力与成员构成 - 社区成员来自斯坦福大学、清华大学等国内外知名高校，以及智元机器人、优必选等头部公司，覆盖近2000名用户和200家机构 [15][80] - 社区建立岗位内推机制，与多家具身公司合作，为成员提供求职辅导和就业机会 [6][7] - 社区内容持续更新，每日投入优化，旨在培养行业未来领袖，推动具身领域进步 [3][13]

公司定位与使命 - 公司是国内具身智能领域优秀的创作平台[1] - 公司致力于推动具身智能产业的发展以及人才的培育[1] 内容创作方向 - 公司主要创作内容包括最新技术及论文分享、核心技术模块讲解、行业分析文章以及深度的技术栈分享[2] 运营与资源 - 公司诚邀学术界与工业界人士加入创作，为行业带来专业且有深度的内容[1] - 公司提供稿费支持和个人IP扶持，并邀请加入其圈子以共享行业资源[2]

行业研究热点与方向 - 视觉-语言-行动模型及其相关衍生方向在机器人与人工智能顶会中占据了近一半的具身智能产出 [1] - 研究热点集中在长程操作、泛化、少样本学习、视觉-语言-行动模型与强化学习结合以及人形机器人相关领域 [1] - 视觉-语言-行动模型打破了传统方法的单任务局限，使机器人能在多样化场景中自主决策并灵活应对未见过的环境 [4] 技术演进与应用前景 - 视觉-语言-行动模型的技术演进包括从早期的抓取位姿检测到行为克隆，再到近期的Diffusion Policy和多模态基础模型 [9] - 前沿模型如RT-2、OpenVLA和PI0实现了从视觉输入和语言指令到机器人动作的端到端映射 [10] - 该模型广泛应用于制造业、物流和家庭服务等领域，并适用于机械臂、四足机器人和人形机器人等多种平台 [4] 产业发展与市场格局 - 国内外具身智能领域处于蓬勃发展阶段，Unitree、智元、星海图、银河通用、逐际动力等团队正从实验室走向商业化 [6] - 科技巨头如华为、京东、腾讯以及国外的Tesla、Figure AI公司均在积极布局该领域 [6] - 视觉-语言-行动模型已成为智能机器人领域的关键驱动力，推动了学术界与工业界的合作 [4] 核心挑战与前沿方向 - 具身智能面临的核心挑战包括跨域泛化、长期规划与世界模型构建 [10] - 前沿发展方向包括多模态感知融合、触觉反馈整合、基于物理的推理以及社会互动能力 [10] - 研究空白与机会存在于长期记忆、视觉-语言-行动模型与强化学习原子技能库构建、动作解码问题及多模态思维链等多个方向 [15]

点击下方 卡片 ，关注" 具身智能 之心 "公众号 编辑丨 具身智能之心 专家学习 —— 首先在全数据上训练一个基础控制策略，作为专家模型的初始点。随后，针对聚类结果在各动作簇上分别微调，得到更具针对性的专家模型。接 着，将专家模型部署到真实机器人上执行以采集轨迹，并基于这些轨迹为每个类别单独训练动作增量模型，再冻结增量模型对专家进行微调，实现对仿真与现实间 偏差的补偿。通过迭代更新，专家模型在"更优策略—更高质量数据—更精准增量—再优化专家"的循环中逐步提升性能。 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 BumbleBee 提出了一条完整的人形机器人全身控制训练流程。首先，利用 AMASS 数据集训练基础的全身控制模型；在此基础上，通过聚类区分不同类型的动作， 并分别训练相应的专家控制模型；随后，将这些专家模型部署到真实机器人上，采集执行轨迹；基于采集的轨迹序列，为每个专家模型训练对应的动作增量模型 （delta model），以缓解仿真与现实之间的差距（ ...

核心观点 - AnywhereVLA提出了一种模块化架构，旨在融合经典导航的鲁棒性与视觉语言动作模型的语义理解能力，以解决在未知大型室内环境中执行语言驱动拾取-放置任务的技术瓶颈 [3] - 该方案设计可在消费级硬件上实时运行，针对家庭服务、零售自动化、仓储物流等开放、非结构化场景 [3] 相关工作回顾：现有方案的优势与不足 - 通用视觉语言动作模型缺乏空间感知能力，难以应对大型环境 [4] - 视觉语言导航方案需预先知晓目标物体的环境位置，在动态或未探索场景中不实用 [4] - 经典导航框架缺乏语言理解与语义推理能力，无法执行语言驱动的目标导向任务 [4] - 轻量化视觉语言动作模型泛化能力仅局限于操作领域，缺乏环境探索能力 [5] - 结合视觉语言导航与SLAM的方案在185平方米环境中需10-15分钟完成探索，效率低下 [5] AnywhereVLA架构：四大核心模块与工作流 - 工作流逻辑为语言指令解析，同步指导视觉语言动作操作与主动探索，构建3D语义地图，通过前沿探索定位目标，由趋近模块导航至预抓取位姿，最后视觉语言动作执行操作 [7] - 带置信度的3D语义地图模块核心功能是融合多传感器数据，构建含目标类别、几何信息与置信度的语义点云地图 [7] - 主动环境探索模块基于“前沿探索”策略，结合语言指令中的目标类别定位目标物体 [11] - 趋近模块核心是计算机械臂可操作的安全基座位姿，确保后续视觉语言动作操作能稳定执行 [12] - 视觉语言动作操作模块基于微调后的SmolVLA模型，将视觉上下文与语言子目标转化为机械臂的抓取/放置动作 [12] VLA模型微调与硬件平台 - 模型微调使用NVIDIA RTX 4090，数据集为50个SO-101机械臂的拾取-放置片段 [15] - 训练参数包括批量大小16，余弦衰减学习率调度器，AdamW优化器 [15] - HermesBot移动操作平台专为AnywhereVLA设计，平衡传感与计算能力 [16] - 计算硬件分配中，SLAM模块处理频率10赫兹，处理时间25毫秒；语义地图模块处理频率2赫兹，处理时间45毫秒；视觉语言动作模块处理频率5赫兹，处理时间20毫秒 [16] 实验结果：性能与有效性验证 - 在未知多房间实验室中执行50次拾取-放置任务，整体成功率为46% [17][22] - 微调后的SmolVLA操作模块成功率达85%，未微调时整体成功率仅10% [22] - 各模块单独成功率分别为：SLAM 100%，主动环境探索 75%，目标检测 90%，导航 80%，视觉语言动作操作 85% [22] - 探索半径为5米时，平均任务完成时间小于133秒；探索半径为10米时，完成时间小于10分钟 [23]

面向具身科研领域打造的轻量级高性价比机械臂 还在为具身领域的硬件发愁吗？太贵的硬件买不起，太便宜的机械臂不好用，有没有一款价格低但质量很 高的产品？ Imeta-y1来了！低成本可以完成具身领域论文的验证，科研场景的开发，满足大多数从业人员和科研工作者 的需求。 这是一款专为教育、科研与轻工业场景设计的轻量级机械臂。 该机械臂融合高精度运动控制、低功耗设计与开放软硬件架构，支持从仿真到真机的无缝联调，并提供全 流程开源SDK与工具链，助力用户快速实现算法验证、数据采集、模型训练与部署应用。 其紧凑型结构与模块化接口，尤其适用于嵌入式AI与机器人学习平台的开发与应用推广。 | 本体重量 | 4.2KG | 额定负载 | 3KG | 自由度 | 6 | | --- | --- | --- | --- | --- | --- | | 工作半径 | 612.5mm | 重复定位精度 | ±0. 1mm | 底座安装尺寸 | 90mm*90mm*M5*4 | | 供电电压 | 24V | 控制器 | PC | 材质 | 铝合金 | | 通讯方式 | CAN | 外部接口 | 电源+CAN XT30 2+2 | 控制方式 ...