点击下方 卡片 ，关注" 具身智能 之心 "公众号 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 在具身智能领域，机器人操纵作为核心难题，随着视觉、语言及多模态学习的飞速发展迎来变革。大型基础模型的出现，大幅提升了机器人的感知与语义表征能 力，使其能在非结构化环境中基于自然语言指令完成任务。由西安交通大学、香港科技大学（广州）等多所高校联合撰写的综述，以 "高层规划 + 低层控制" 的统一 框架，系统梳理了基于学习的机器人操纵方法，明确了当前技术瓶颈与未来方向，为该领域的研究提供了全面且结构化的参考。 论文名称：Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives 论文链接：https://arxiv.org/pdf/2512.22983 项目链接：https://github.com/BaiShuangha ...

文章核心观点 本次圆桌讨论聚焦于具身智能领域的视觉-语言-动作模型，与会专家普遍认为当前VLA的总体架构已趋于标准化和模块化，但模型的泛化能力与落地应用之间仍存在显著差距。未来发展的关键驱动力将来自数据、3D表征学习、强化学习与模仿学习的结合，以及感知与控制模块的逐步统一。 VLA的架构与模型现状 - 当前VLA的总体架构已相对收敛，形成了一种标准范式，即以视觉语言模型为基座，嫁接一个动作输出模块 [14][16] - 尽管架构趋同，但核心差异并非架构本身，而在于数据驱动 [14] - 当前从业者的工作多是在此标准框架下进行“小修小补”，例如引入触觉、记忆等新模块 [15] - 从实际表现看，VLA已能学习叠衣服等长程复杂任务，比去年进步明显，但其泛化性能尚不足以支撑落地 [16] VLA当前痛点与挑战 - 模型将VLM的2D图像与文本特征强行映射到3D动作空间，导致泛化性损失 [17] - VLA的硬件和数据可能成为限制，使精细化操作难以实现 [13] - 当前开源的VLA架构同质化严重，但尚不能确定这就是最佳架构，未来可能有更好的架构出现 [18] - VLM基座模型对3D物理世界的理解非常不充分，缺乏精准的空间grounding能力 [49] VLA未来可能的发展方向 - **3D表征学习**：让特征从2D更好地迁移到3D，利用3D预训练模型提升泛化性和性能 [17][43] - **训练范式创新**：结合强化学习与模仿学习 [43][45]。模仿学习效率高，可完成80%到90%的任务，而强化学习能处理失败数据并激发更高智能 [46] - **与世界模型结合**：使模型具备预判和脑补未来的能力，而不仅是基于当前时刻预测动作序列 [50] - **模块化与系统整合**：VLA作为提供先验知识的基座，需要与世界模型、RL等多种技术点在系统中协同安排，共同解决问题 [48][50] 感知与控制的统一路线 - 从长远目标看，感知与控制最终会趋向统一，形成一个“大一统”的端到端模型 [22][27][35] - 但在实现路径上，由于有大量迫切的现实问题需要解决，目前仍需分模块研发，例如导航场景仍需高精度的专用感知模型 [23][27] - 通过先进行模块化的端到端探索，积累各子领域的经验，才能最终迈向统一 [24][27] - 即使在实现大一统模型后，为建立安全互信和提供策略兜底，保留部分模块化输出（如OCC）仍有必要 [36] 自动驾驶经验对具身智能的借鉴 - 自动驾驶被视为具身智能的一个特殊场景，其完整的技术发展脉络（从模块化到端到端）对具身领域有重要参考价值 [34] - 自动驾驶领域将感知与控制结合后，解决了拟人化和处理复杂长尾案例的难题，这同样适用于具身智能 [34] - 具身智能可以直接对标自动驾驶的最新技术，但因其要求完全自动化，对规则和可解释性的需求可能比自动驾驶更严格 [38] 强化学习在新时代的角色 - 大模型的出现为强化学习提供了强大的起点，使其能够利用大规模算力，进入新的发展阶段 [31] - 强化学习作为一种工具，其算法并未收敛，需要针对不同任务（如数字空间推理与物理空间学习）开发不同的高效方法 [30] - 在具身智能产品化或追求AGI的路径上，不能只专注于强化学习，而需要更全面的知识面，整合模仿学习、VLA基座等多种范式 [46]

文章核心观点 - 文章深入解读了Waymo在ECCV上发表的一篇关于在自动驾驶轨迹规划任务中应用强化学习进行微调的论文，认为该方法逻辑通顺、通用性强，为解决主流模仿学习方法在开环训练中存在的因果不一致、难以处理分布外状态等问题提供了一个有效思路，其核心在于通过预训练结合强化学习微调的两阶段方法，在无需高保真仿真环境的情况下实现闭环训练，从而提升智能体行为的合理性与安全性[3][4][14] 方法背景与问题 - 主流的基于学习的规划模块多采用模仿学习方法，进行开环训练，即在服务器训练后部署到车端运行，这种模式下，车辆在实车测试中一旦进入不合理状态很难自行纠正，增加数据量或扰动初始状态只能缓解但不能根治分布外问题[3] - 许多模仿学习方法采用单帧感知信息结合多秒真实轨迹的组合进行训练，若感知范围有限或远端感知不准，会导致因果不一致的问题，例如真实轨迹在远端无感知道路处转弯，而当前帧感知无法覆盖，此类混乱数据会误导网络学习[7] 提出的解决方案与模型结构 - 文章提出的方法采用预训练与强化学习微调相结合的两阶段训练方式，其网络结构沿用了Waymo之前的MotionLM模型，采用自回归方式输出轨迹，在推理阶段通过循环依次输出自车与交通参与者的动作，从而构成完整轨迹并确保因果关系一致[4] - 该模型同时输出自车与交通参与者的动作，这本身构成了一个简易版的世界模型，网络输入采用以场景为中心的编码方式，例如对于输出6秒轨迹的任务，静态信息是6秒内信息的汇总，而非仅当前帧，这能确保在推演过程中车辆不会驶出感知道路范围[4][6] 训练流程与奖励函数 - 预训练阶段使用因果掩码拟合真实轨迹，动作定义为横纵向加速度及一个13x13的空间网格，强化学习微调阶段则使用简单的运动学方程进行位置更新[8] - 强化学习阶段的奖励函数设计简洁，包含两部分：拟合真实轨迹的奖励和碰撞惩罚，具体公式为 $$r_{t,i}=-||P o s_{t,i}-G T_{t,i}||_{2}-\lambda C o l l_{t,i},$$，这种组合被认为能兼顾效率与安全性，且拟合奖励能有效防止训练崩溃[11] - 奖励值在批次维度和所有时间步上进行标准化，公式为 $$R_{t,i}=(R_{t,i}-Mean(R))/Std(R)$$，这种方法省略了评价者网络，类似于GRPO的方式，并采用策略梯度进行更新，作者认为若在采样轨迹范围内标准化会更精确，但可能因计算量而未采用[13] 方法优势与行业意义 - 与在损失函数中添加碰撞、效率等辅助损失项的模仿学习方法相比，将类似约束转化为奖励函数能带来更好效果，因为奖励通过提升特定决策模态的概率来间接优化，而非直接作用于轨迹形态，可避免导致轨迹扭曲、摆动或加减速顿挫等问题[14] - 强化学习的核心价值在于闭环学习，即使使用较小但难度较高的数据集进行微调，也能显著提升模型能力，该方法参考了大语言模型中强化学习微调的思路，指出拥有真正的世界模型是实现物理人工智能的关键路径[14] - 该方法的一大优势是思路易于借鉴和复现，且不需要依赖高保真的仿真环境，为行业提供了一种通用性强的训练范式[4][13]

研究背景与问题 - 从人类示范中学习是机器人执行任务的一种潜力巨大的方式 但现有方法通常依赖粗对齐的视频对 只能学习全局或任务级别的特征 忽略了复杂操作和泛化所需的细粒度帧级动态信息[3] - 现有模型在已见任务上表现良好 但面对人类展示的从未见过的新任务时表现不佳 原因在于主流方法依赖粗糙的人机视频对齐 机器人只能大概知道人在干什么 却不知道人手具体如何动作[8] - 数据不够精细导致模型学不到关键动作细节 许多方法将整段视频压缩成固定长度向量 丢失了细节 使得模型无法理解动作间的微小差别 从而缺乏真正的泛化能力[8] 解决方案与核心创新 - 复旦大学和上海创智学院提出了一种范式转变 将细粒度的人机动作对齐视为一个条件视频生成问题[3] - 核心创新是让机器人看着人类做 然后脑补出自己应该怎么做 即直接生成一段对应的机器人操作视频 该方法要求模型逐帧预测机器人下一步如何移动 从而在生成过程中学会动作细节和理解操作逻辑[8] - 为支持该方法 研究团队引入了一个全新的第三人称数据集H&R 该数据集包含2,600段通过VR远程操控系统采集的精准同步的人类和机器人动作视频 涵盖4类基础任务和6类复杂长程任务[3][9] Human2Robot技术框架 - 该方法分为两个阶段 第一阶段是视频预测 机器人看到人类操作时 模型直接生成一段机器人应该如何动作的视频 模型先学会生成单帧 再进阶训练整个视频以掌握完整的动作演化过程[12][13][14] - 视频预测模型包含三个关键组件 Spatial UNet负责捕捉机械臂形状和手部动作等关键信息 Spatial-Temporal UNet负责理解动作连贯性并学会逐帧预测的时间关系 Behavior Extractor负责提取人手的位置、速度和方向等运动线索[15] - 第二阶段是动作解码 由于视频渲染速度慢不适合实时操作 因此只取一次去噪后的中间特征 这些特征已包含机械臂下一步的位置、动作趋势和物体相对关系 然后训练一个动作解码器来输出机器人的关节角或位姿[16][21] 实验结果与性能 - 在已见任务上 Human2Robot方法在所有任务上均取得最高成功率 对比基线方法DP、XSkill和VPP Human2Robot保持超过10–20个百分点的优势[20] - 具体数据表明 在Push & Pull任务上Human2Robot成功率为100% 在Pick & Place任务上为90% 在Rotation任务上为90% 平均成功率为93%[19] - 引入KNN推断的Human2Robot在所有任务上仍优于各基线方法 相比完整版本 KNN策略仅带来约10–20%的成功率下降 处于可接受范围内[20] 泛化能力评估 - 该方法能够实现对新的位置、物体、实例 甚至全新任务类别的一次性泛化 对于一个没见过的任务 只需要给一段人类完成任务的视频 即可让机器人完成这个任务[4] - 在六类泛化设置中 Human2Robot在位置、外观、实例与背景变化下均保持领先 并能完成组合任务与全新任务 而XSkill与VPP在后两者上均失败[27] - 泛化优势被认为源于H&R数据集提供的明确人机动作对应关系 以及视频条件提供的细粒度动态信息 这使得策略具备了跨任务泛化能力[27] 消融研究与有效性验证 - 测试了直接从人类视频预测机器人动作的方式 该方法平均成功率仅为23% 动作执行抖动明显 对抓取等关键行为不敏感 说明仅依靠人类视频推断机器人动作映射较为困难[25] - 为验证视频生成预训练的必要性 设计了未进行预训练的变体 结果显示该方法几乎无法完成任务 最简单的推拉任务成功率仅为20% 抓取放置任务仅为10% 证明视频预训练对于建立动作先验至关重要[26] - 可视化分析表明 仅经过一步去噪的预测已包含足够的动作信息 可有效支持后续的动作规划 30步去噪结果与真实机器人视频高度一致 验证了所提出视频预测模型架构的有效性[24]

论文核心观点 - 论文AD-R1旨在通过闭环强化学习提升端到端自动驾驶的安全性与鲁棒性 解决现有世界模型无法正确预测危险后果的系统性缺陷[2] - 核心创新在于提出公正世界模型和基于未来想象的强化学习框架 以解决模仿学习的分布偏移和缺乏负反馈问题[3][4] 自动驾驶技术范式对比 - 开环系统基于离线数据静态回放 算法决策与环境状态解耦 无法改变历史[1] - 闭环系统在动态仿真中实现车辆操作与环境的实时交互 并改变后续时空轨迹[1] 现有技术缺陷分析 - 模仿学习存在分布偏移问题 难以应对训练数据未覆盖的长尾场景[3] - 缺乏负反馈机制 导致AI无法从数据中学习危险行为的后果[3] - 现有世界模型存在乐观偏差 会对不安全动作产生幻觉 如让障碍物消失或改变路面属性以维持预测连贯性[3] AD-R1框架核心技术 - 训练公正世界模型作为诚实裁判 通过反事实数据合成将安全数据转化为车祸数据 教会模型理解危险行为的真实后果[4] - 采用轨迹感知门控技术 通过掩码强制模型关注指令路径上的特征 防止忽略障碍物[6] - 引入自车保真度损失作为惩罚项 防止模型在预测未来时擅自改变自车轨迹 确保其只预测不行动[6] 强化学习训练流程 - 策略网络首先生成候选轨迹（如10条）[8] - 轨迹输入公正世界模型（梦境引擎）预测未来4D占用网格[7][8] - 基于预测未来计算奖励 使用GRPO算法通过对比轨迹优劣更新策略 无需额外价值网络[8] 三维空间精细化评估 - 利用世界模型输出的3D/4D体素数据 计算比传统BEV方法更细致的奖励函数[8] - 体积碰撞惩罚通过重叠体积量化碰撞严重程度 而不仅是二元判断[8] - 垂向间隙惩罚检测隧道顶部或限高杆碰撞风险（2D BEV无法实现）[8] - 路面稳定性奖励确保车辆行驶在平坦路面 避免骑压马路牙子[8]

端到端自动驾驶技术行业需求与挑战 - 端到端技术已成为车企量产核心招聘岗位 但市场上面向量产的真正人才极为稀缺[1] - 端到端岗位要求全栈能力 涵盖模型优化 场景优化 数据优化以及下游规划兜底等多个环节[1] - 行业当前需攻克导航信息引入 强化学习调优 轨迹建模与优化等量产一线难题[3] 端到端量产课程核心内容 - 课程设计历时三个月 聚焦从实战到落地的进阶内容[3] - 核心算法覆盖一段式端到端 两段式端到端 导航信息量产应用 开闭环强化学习 扩散模型+强化学习 自回归+强化学习 时空联合规划等[5] - 课程重点在于面向就业与直击落地 仅开放35个招生名额[5] 课程详细大纲 - 第一章：介绍感知模型一体化架构与规控学习化方案 分析任务合并与模块设计[10] - 第二章：讲解两段式框架建模 感知与PNC信息传递 优缺点 并以PLUTO算法实战[11] - 第三章：分析一段式框架优势 学习VLA VAD等基于diffusion的方法 实现信息无损传递[12] - 第四章：解析导航地图格式 内容 及其在端到端模型中的编码与嵌入方式[13] - 第五章：从模仿学习过渡到强化学习 讲解RL算法及训练策略以解决场景泛化问题[14] - 第六章：进行nn planner项目实战 结合模仿学习与强化学习 涵盖扩散模型与自回归算法[15] - 第七章：介绍时空联合规划等轨迹平滑优化算法 作为模型输出不准时的兜底方案[16] - 第八章：分享数据 模型 场景 规则等多视角的量产经验 提升系统能力边界[17] 课程师资与安排 - 讲师王路拥有C9本科及QS50 PhD背景 发表多篇CCF-A/B论文 现任国内顶级Tier1算法专家 具备大模型 世界模型等前沿算法预研与量产经验[6] - 课程面向具备BEV感知 视觉Transformer 强化学习 扩散模型 Python/PyTorch等基础的进阶学员 需自备4090及以上算力GPU[18][19] - 课程采用离线视频教学 辅以VIP群答疑及三次线上答疑 自11月30日开课 预计三个月结课 按周解锁各章节内容[20]

事件概述 - 一段展示中国初创公司灵启万物机器人自主完成浇花、扔垃圾、整理玩具、与孩子互动等复杂任务的视频在全球科技圈引发广泛关注[1][2] - 发布方灵启万物强调视频全程“无加速、无遥控”，完全由机器人自主完成[4] - 该视频意外引发了一场围绕其真实性的中美科技界跨国论战[1][10] 技术展示与真实性论战 - 视频中机器人动作流畅，展示了端水、爬上床、与孩子玩飞盘等行为[2][15] - 美国Figure公司CEO Brett Adcock公开质疑视频真实性，称其可能采用开环回放控制器并在关键环节进行人工遥控[5][7] - 美国科技博主Mike Kalil发表长文论证视频未造假，指出机器人行为基于学术界已有研究成果（如ResMimic、HDMI、OmniRetarget等论文），灵启万物成功实现了前沿研究的工程化整合[15] - 支持者提供了从不同角度拍摄的备份录像作为证据[11] - 灵启万物的技术可能整合了模仿学习和强化学习，通过在模拟环境中进行数百万次训练再将能力迁移至物理机器人[15] 公司背景与硬件基础 - 灵启万物是一家深圳初创公司，创始人来自腾讯[4] - 公司使用的硬件是宇树科技（Unitree）已实现规模化量产的G1人形机器人平台[4] - Figure公司CEO此前也曾公开质疑另一家中国机器人公司优必选（UBTECH）展示成果的真实性[8] 行业影响与商业模式路线之争 - 若灵启万物的软件系统能在经济实惠的量产硬件上实现通用功能，可能对Figure AI、1X Technologies和特斯拉等走“软硬一体”垂直整合路线的公司构成威胁[18] - 美国头部玩家采用类似苹果的封闭模式，自主研发AI软件和硬件本体，集成度高但研发成本和产品价格高昂[18] - 灵启万物视频展示了“安卓模式”的可能性，即AI软件与机器人硬件解耦，专注于开发“大脑”并利用第三方低成本量产硬件[19] - 该模式若成功，人形机器人产业竞争关键将从硬件制造转向软件智能，冲击现有硬件集成战略建立的壁垒[20] - 市场可能向开放、灵活的生态倾斜，软件可在任何硬件上运行，类似智能手机市场的安卓系统[20] - 此次论战本质是“软硬一体”垂直整合与“软硬解耦”开放生态两种技术路线和商业模式的提前碰撞[21]

行业技术范式转变 - 机器人学正经历从经典显式建模到现代隐式学习的根本性变革，基于学习的方法成为现代机器人学的中流砥柱[3] - 传统机器人技术依赖模块化流水线，而基于学习的方法通过统一高层控制器直接处理高维感知-运动信息，简化了从感知到动作的过程[15][33] - 基于学习的方法优势在于紧密整合感知和控制、减少专家建模干预，并能随着数据规模扩大而提升性能[26][33] 核心学习方法与技术 - 强化学习通过试错法让机器人自主学习最优策略，但面临安全、效率和高昂试错成本的瓶颈[28][34] - 教程介绍了通过模拟器训练结合域随机化技术来规避物理风险，并利用离线到在线强化学习框架提升样本效率和安全性[34][36] - 模仿学习通过行为克隆复现专家操作，规避了复杂的奖励函数设计，但面临复合误差和多模态行为挑战[41] - 先进模仿学习方法如ACT和Diffusion Policy利用生成模型有效建模多模态数据，后者仅需50-150个演示即可完成训练[42][43][45] 通用机器人策略与开源生态 - 构建跨任务、跨设备的通用机器人策略是未来方向，得益于大规模开放机器人数据集和视觉-语言模型的发展[52][53] - 前沿VLA模型如π₀和SmolVLA采用混合专家架构，π₀基于超过1000万条轨迹数据集预训练，展现强大泛化能力[53][54] - SmolVLA作为开源模型，参数量仅为π₀的约七分之一，内存消耗降低6倍，显著降低了应用门槛[56][58] - HuggingFace与牛津大学提供的LeRobot开源库包含预训练模型、数据集和模拟环境，用户无需实体机器人即可上手[6][7][8] 教程价值与内容覆盖 - 教程从经典机器人学概念出发，逐步介绍强化学习、模仿学习、生成模型理念以及通用机器人策略[4][11] - 教程附带了基于PyTorch的开源数据集、模型、工具和代码库LeRobot，收录了许多当前SOTA方法[6][10] - 该教程是踏入机器人学习领域的一份有价值的起点，全面探索了现代机器人学习的全景[3][12]

文章核心观点 - 现代机器人学习领域正经历从经典显式建模到基于学习的隐式建模的范式转变，强化学习、模仿学习及视觉-语言-动作模型是主要驱动力 [2] - HuggingFace与牛津大学联合发布了一份全面的机器人学习教程，并配套开源了数据集、模型和代码库LeRobot，旨在降低该领域的学习和应用门槛 [3][6][10] - 教程系统性地介绍了从经典机器人学到前沿通用机器人策略的技术演进，重点涵盖了强化学习、模仿学习及VLA模型等关键方法 [4][11][52] 教程内容概述 - 教程从经典机器人学概念入手，阐述了其从依赖正向/逆向运动学的显式建模，向基于深度强化学习和专家示范的隐式建模的演化过程 [14][15] - 经典模块化流水线存在感知与控制整合不紧密、可扩展性差、物理模型简化过度及忽视数据规模趋势等多方面局限 [16][26][30] 机器人强化学习 - 强化学习通过试错法让机器人自主学习最优策略，但其在现实世界中面临安全效率问题和高昂试错成本等瓶颈 [28][34] - 采用模拟器训练结合域随机化技术可提升对环境动态的鲁棒性，离线到在线强化学习框架利用专家数据引导学习，显著提升样本效率和安全性 [35][36] - HIL-SERL方法通过引入人类监督，使机器人能在1-2小时内掌握复杂真实世界操作任务，成功率接近100% [36][39] 机器人模仿学习 - 模仿学习通过行为克隆复现专家操作，规避了复杂奖励函数设计并确保训练安全，但面临复合误差和难以处理多模态行为的挑战 [41] - 基于生成模型的先进方法如ACT和Diffusion Policy能有效建模多模态数据，后者仅需50-150个演示即可完成训练 [42][43][45] - Diffusion Policy架构利用扩散模型生成动作序列，仅需T=10步去噪即可获得完整动作块，并通过异步推理优化部署效率 [47][48][50] 通用机器人策略 - 通用机器人策略是构建跨任务、跨设备的机器人基础模型，其发展得益于大规模开放机器人数据集和视觉-语言模型的进步 [52][53] - π₀模型利用Flow Matching技术，基于超过1000万条轨迹的数据集预训练，展现出强大的少样本和零样本泛化能力 [53][54][56] - SmolVLA作为完全开源的紧凑型混合专家模型，参数量仅为π₀的约七分之一（4.5亿参数 vs 33亿），内存消耗降低6倍，大幅降低了应用门槛 [56][58] 资源与工具 - LeRobot是Hugging Face开发的开源端到端机器人库，提供预训练模型、人工采集数据集及模拟环境，支持真实世界机器人设备的低级控制和高级推理优化 [6][8][10] - 教程附带了基于PyTorch的开源数据集、模型、工具和代码库，收录了许多在模仿学习和强化学习方向上展示良好真实机器人迁移能力的SOTA方法 [6]

文章核心观点 - 灵巧抓取是机器人具身智能领域面临的主要技术瓶颈，其核心挑战在于缺乏大规模、高质量、包含力觉信息的多模态操作数据 [1][2][11][12][13] - 灵巧智能科技有限公司发布的DexCanvas数据集通过“真实+合成数据”双轮驱动模式，提供了包含完整力/接触标注的大规模人手操作数据，旨在解决行业数据瓶颈 [15][16][21] - DexCanvas数据集在采集效率、数据质量和成本间取得了平衡，其基于真实人类演示并通过物理仿真恢复力控的方法，显著提升了数据的规模与泛化能力，为物理智能的发展提供了基础设施级解决方案 [20][21][27][30] 现有灵巧抓取与数据采集方案 - 灵巧抓取的学习方法主要分为模仿学习和强化学习两类，模仿学习通过观察演示学习，强化学习则通过设定奖惩机制学习，但后者需要大量训练数据和精心设计的机制以确保稳定性 [4] - 数据采集主要依赖遥操作技术，包括基于视觉的方案、动捕方式以及VR/AR等，其中动捕系统对光照变化和遮挡具有较强鲁棒性，而视觉方案常受环境因素影响 [5] - 现有灵巧手硬件主要分为两指夹爪和多指拟人化手，两指夹具简单可靠但自由度低，而具备20+自由度的拟人化手更适应为人类设计的环境 [2] 灵巧操作数据面临的定律与瓶颈 - 行业数据存在“规模、真实性、力觉信息只能三选二”的定律，大规模开源数据集往往缺乏关键的力控信息 [6][7] - 真实场景下的灵巧操作数据采集成本极高，开源数据集通常仅数万条且不含触觉信息，而仿真数据虽可达百万甚至亿万级别，但sim2real泛化成功率有时低于70% [9][10] - 技术瓶颈在于难以在复杂操作中实时感知微小力度变化，且传统方法因高维度和复杂接触动力学而泛化能力不足，核心问题是大规模高质量多模态数据的缺失 [11][12][14] DexCanvas数据集的突破与优势 - DexCanvas弥补了开源数据集力/触觉信息的缺失，每条轨迹都包含完整的多指力/接触标注，并为20+自由度系统优化 [16][17] - 数据集提供了从动捕到MANO拟合、物理重演至五指灵巧手执行的全套处理代码，并在HuggingFace上提供了预处理后的可直接训练版本 [18][19] - 数据集综合指标优于常规方案，在效率、成本和质量上取得平衡，采集效率与仿真同为五星，成本为三星，质量为四星 [20] - 数据集包含超1000小时真人多模态演示数据与10万小时物理仿真合成数据，涵盖亚毫米级轨迹和物理一致的接触力信息，包含4种同步模态 [21] DexCanvas的数据生成方法与特性 - 数据生成分为三步：使用20个动捕相机以亚毫米精度采集真人演示；通过物理仿真环境下的强化学习智能体复现动作以恢复力控；通过改变物体参数将1000小时演示扩充为10万小时增强数据 [25][27][28] - 该方法基于真实人类演示，仿真用于“显影”隐藏的物理信息，而非从零生成动作，避免了仿真漏洞，且仿真的是人手而非特定机器人手，使其具备极佳的跨平台泛化能力 [27][30] - 独创的物理信息完备的操作轨迹复刻流程，自动生成了缺失的力觉和接触信息，力控数据在规模扩充后得以保持 [22][29]