Workflow
模仿学习
icon
搜索文档
Human2LocoMan:通过人类预训练学习多功能四足机器人操控
自动驾驶之心· 2025-07-04 18:27
本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 出发点与工作背景 点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Yaru Niu等 编辑丨具身智能之心 四足机器人虽在复杂环境中移动能力出色,但赋予其可扩展的自主多功能操作技能仍是重大挑战,为此本 文提出一种用于四足操作的跨实体模仿学习系统,该系统利用从人类和配备多种操作模式的四足机器人 LocoMan 收集的数据,通过开发远程操作和数据收集管道来统一并模块化人类和机器人的观察空间与动作 空间,同时提出高效模块化架构以支持不同实体间结构化模态对齐数据的联合训练和预训练,还构建了首 个涵盖单手和双手模式下各种家庭任务的 LocoMan 机器人操作数据集及相应人类数据集;实验在六个真实 世界操作任务中验证,与基线相比整体成功率平均提升 41.9%、分布外场景提升 79.7%,利用人类数据预训 练后整体成功率提升 38.6%、分布外场景提升 82.7%,且仅用一半机器人数据就能持续实现更好性能。 我们的代码、 ...
卡耐基梅隆大学!Human2LocoMan:通过人类预训练学习多功能四足机器人操控
具身智能之心· 2025-07-03 21:36
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Yaru Niu等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 出发点与工作背景 四足机器人虽在复杂环境中移动能力出色,但赋予其可扩展的自主多功能操作技能仍是重大挑战,为此本 文提出一种用于四足操作的跨实体模仿学习系统,该系统利用从人类和配备多种操作模式的四足机器人 LocoMan 收集的数据,通过开发远程操作和数据收集管道来统一并模块化人类和机器人的观察空间与动作 空间,同时提出高效模块化架构以支持不同实体间结构化模态对齐数据的联合训练和预训练,还构建了首 个涵盖单手和双手模式下各种家庭任务的 LocoMan 机器人操作数据集及相应人类数据集;实验在六个真实 世界操作任务中验证,与基线相比整体成功率平均提升 41.9%、分布外场景提升 79.7%,利用人类数据预训 练后整体成功率提升 38.6%、分布外场景提升 82.7%,且仅用一半机器人数据就能持续实现更好性能。 我们的代码、 ...
具身智能领域,全球Top50国/华人图谱(含具身智能赛道“师徒关系图”)
Robot猎场备忘录· 2025-06-30 16:09
温馨提示 : 点击下方图片,查看运营团队2025年6月最新原创报告(共235页) 说明: 欢迎 约稿、刊例和商务合作、行业人士交流 , 行业交流记得先加入 "机器人头条"知识星球 ,后添加( 微信号: lietou100w )微信; 若有侵权、改稿请联系编辑运营(微信:li_sir_2020); 正文: 随着人工智能和大模型技术发展,具身智能赛道成为如今最火赛道之一;具身智能技术领域具体会涉及到大语 言模型(LLM)、视觉多模态模型(VLM)、强化学习(Reinforcement Learning)、深度强化学习(Deep Reinforcement Learning)、模仿学习(Imitation Learning)等诸多前沿技术。 人形机器人发展多年,从最初基于 模型的控制算法(LIPM+ZMP),到动态模型控制和最优控制算法 (MPC+WBC),到如今的模拟+强化学习(IL+RL),当然现阶段也有不少人形机器人公司采用MPC方式,各类 算法没有绝对的替代关系,各有优劣;IL+RL是目前人形机器人公司最常提起的概念,基本都是高校和头部科技 大厂内研发机构在研究,也是为什么目前人形机器人初创公司以"学院派" ...
保姆级分享!ALOHA:低成本双臂机器人结合模仿学习经典工作
具身智能之心· 2025-06-27 16:36
本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Tony Z. Zhao等 编辑丨具身智能之心 今天学习下从业人员都绕不开的 ALOHA 的这个文章,该文章分为硬件 ALOHA 部分,和算法 ACT 部分。 算是 23 年的古早时代的论文了(深感这行业还是需要软硬件都学习的) 什么是 ALOHA? A L ow-cost O pen-source Ha rdware System for Bimanual Teleoperation. 一种低成本开源的双臂遥控操作系统 论文:Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware paper:https://arxiv.org/abs/2304.13705 项目网站:https://tonyzhaozh.github.io/aloha/ 成本小于 20k 美刀 支持两种模式: m ...
SwitchVLA:无需额外数据采集,即可实时动态任务切换的轻量化VLA模型
自动驾驶之心· 2025-06-24 10:54
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Meng Li等 >> 点击进入→ 具身智能之心 技术交流群 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 1简Intr 介 oduction - 基于模仿学习,目前主流的多任务 VLA 模型及其训练方式无法很好的应对任务变更问题。比如, 当任务A进行一半时,此时切换任务B,大部分方法解决该问题的能力十分薄弱。 - 诸如此类问题我们定义为 Task Switching ,即"任务切换"。为解决该问题,我们设计了执行感知 (Execution-Aware)机制,通过极简的形式表示了任务切换的情况。在模型侧采用了轻量化的网络 架构,并设计了新的训练范式及数据采样算法。 - 我们的方法 轻量 (0.27B)且 无需额外收集遥操数据 ,便可实现任务切换功能,并大幅超越现有 SOTA VLA 方法。 - 论文地址:https://arxiv.org/abs/2506.03574 - 项目网站:https://switchvla.gith ...
SwitchVLA:无需额外数据采集,即可实时动态任务切换的轻量化VLA模型
具身智能之心· 2025-06-23 21:54
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Meng Li等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 1简Intr 介 oduction - 基于模仿学习,目前主流的多任务 VLA 模型及其训练方式无法很好的应对任务变更问题。比如, 当任务A进行一半时,此时切换任务B,大部分方法解决该问题的能力十分薄弱。 - 诸如此类问题我们定义为 Task Switching ,即"任务切换"。为解决该问题,我们设计了执行感知 (Execution-Aware)机制,通过极简的形式表示了任务切换的情况。在模型侧采用了轻量化的网络 架构,并设计了新的训练范式及数据采样算法。 - 我们的方法 轻量 (0.27B)且 无需额外收集遥操数据 ,便可实现任务切换功能,并大幅超越现有 SOTA VLA 方法。 | - 论文地址:https://arxiv.org/abs/2506.03574 | - 项目网站:https://switchvla. ...
机器人系列报告之二十七:控制器提供具身智能基座,数据飞轮驱动模型迭代
申万宏源证券· 2025-05-15 23:20
报告行业投资评级 - 看好 [3] 报告的核心观点 - 目前人形机器人硬件成熟度高于软件,软件是走向商业化的关键,研究相对空白 [3][5] - 算法是具身智能的核心,数据是算法学习的基础,控制系统是具身智能的基座 [3][5] - 软件是机器人下一步商业化落地的投入重心,相关产业链标的值得关注 [3][4] 根据相关目录分别进行总结 算法:具身智能的核心 - 算法框架分为上层“大脑”与下层“小脑”两大层级,上层聚焦任务级规划与决策,下层负责实时运动规划与关节控制 [3] - 下层控制算法从传统向现代算法渗透,未来需解决多模态集成等瓶颈 [3] - 上层控制重点讨论VLA架构,其具备端到端和泛化等特点,在自动驾驶场景广泛应用,但面临数据稀缺等挑战 [36][40][71] 数据:算法学习的基础 - 数据来源分为真实数据、合成数据及网络数据,真实数据是主要来源,合成数据可解决数据短缺问题 [3] - 真实数据采集方式包括遥操作、动作捕捉技术等,合成数据通过仿真平台生成 [3] 控制系统:具身智能的基座 - 产业界对人形机器人“大小脑”未形成统一共识,通常人为区分,大脑负责复杂任务,小脑负责运动控制 [110] - 硬件主要由SoC芯片构成,软件部分包括底层操作系统、中间件和上层软件,芯片是核心,多数公司采用英伟达方案 [3] - 未来产业格局走势有望类比于自动驾驶,出现产业分工趋势 [5] 结论和风险 - 相关产业链标的包括控制器环节、运控技术同源、芯片、数据采集装备等企业 [3][4]
边学边练,推理觉醒:LUFFY让强化学习即学即用!
机器之心· 2025-05-05 11:40
破解 "只学不练" 与 "只练不学" 的难题 想象你准备参加一场高水平的数学竞赛。如果你只是反复背诵往年题目的标准答案,从不亲自动手解题,那么一旦遇到新题型,很可能束手无策;反过来,如果 你闭门造车,只凭自己反复试错而从不参考老师和高手的解题经验,进步又会异常缓慢。这就好比 AI 模型 训练中长期存在的两种极端: 「 模仿学习 」 只顾照搬 示范却缺乏自我实践, 「强化学习 」 一味自我探索却不借鉴现有经验。 这两种 「只学不练 」 和 「只练不学 」 的策略各有弊端:前者往往学得快但 泛化差 ,后者可能探索勤但 效率低 。那么,有没有两全其美的办法,让模型既能借 鉴高手经验又能保持自主探索?最近,上海 AI 实验室联合西湖大学、南京大学和香港中文大学的研究团队提出了一种全新的强化学习范式: LUFFY(Learning to reason Under oFF-policY guidance) 。 论文链接:https://arxiv.org/abs/2504.14945 代码仓库:https://github.com/ElliottYan/LUFFY 图表 1. 在六项竞赛级数学推理基准上的整体表现。在 A ...
这些大专生,教出人形机器人
盐财经· 2025-03-25 18:39
文| 朱秋雨 赖丁萌(实习生) 编辑| 向由 值班编辑 | 宝珠 视觉 | 顾芗 中国人形机器人赛道最近"好消息"不断。 前有深圳的众擎机器人完成全球首例前空翻,后有杭州宇树科技机器人实现720度回旋踢。3月11日,前 华为天才少年"智晖君"创立的智元机器人,发布了人形机器人灵犀X2。在视频里,机器人不仅可以像人 一样走路、跑步,还能玩滑板车、骑自行车。 人们正通向"机器人养老"的美好愿景,而现在,一个新工种随着具身机器人的火爆而出现。在Boss直 聘、实习僧等求职APP上,一些公司正招聘学历要求大专以上,名叫"机器人数据采集员"的岗位。 在Boss直聘等求职APP上,一些公司正招聘"机器人数据采集员"的岗位 这份工作的主要内容包括:负责机器人数据采集工作、控制机器人正确移动、保护机器人处于安全状 态,等等。 除此以外,很多岗位还列出了对人的外形的要求,有的是,"不戴眼镜,没有高度近视";有的要求"男生 身高170-175,体重65公斤以内;女生160-168,体重55公斤内";还有的公司要求,"不能有小肚子,身 体协调性较好,细心、灵活、有控制力"。 这些岗位成功引起了众人的注意。人们不禁好奇:机器人的数据 ...