Workflow
具身导航
icon
搜索文档
具身目标导航/视觉语言导航/点导航工作汇总!
具身智能之心· 2025-08-12 15:04
点击下方 卡片 ,关注" 具身智能 之心 "公众号 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 最近有同学向我们咨询了一些具身导航相关的工作,今天也为大家梳理一下这几年发展的路线和方法论, 建议收藏。更多内容欢迎加入国内首个具身智能全栈学习社区:具身智能之心知识星球! 点目标导航工作汇总 Comparison of Model-Free and Model-Based Learning-Informed Planning for PointGoal Navigation RobustNav: Towards Benchmarking Robustness in Embodied Navigation 会议/年份:CoRL, 2022 论文链接:https://openreview.net/pdf?id=2s92OhjT4L 代码:https://github.com/yimengli46/bellman_point_goal 项目链接:ht ...
正式开课啦!具身智能目标导航算法与实战教程来了~
具身智能之心· 2025-07-25 15:11
目标驱动导航技术概述 - 具身导航是具身智能的核心领域,涉及语言理解、环境感知、路径规划三大技术支柱,目标驱动导航通过赋予机器人自主决策能力成为最具代表性的方向 [2] - 目标驱动导航要求智能体在陌生三维环境中仅凭目标描述(坐标、图片、自然语言)自主完成环境探索与路径规划,实现从"听懂指令走对路"到"看懂世界自己找路"的跃迁 [2] - 技术落地需解决语义解析(识别空间特征与视觉属性)、环境建模(构建空间拓扑)、动态决策(避开移动障碍)等挑战,依赖计算机视觉、强化学习与3D语义理解的交叉突破 [2] 产业化应用场景 - 终端配送场景中,美团无人配送车通过动态路径重规划在复杂城市环境执行任务,Starship Technologies的园区配送机器人已在欧美高校和社区部署 [3] - 医疗、酒店及餐饮场景中,嘉楠科技、云迹科技、擎朗智能的商用服务机器人以及美国Aethon公司的TUG系列实现药品、文件和餐食自主配送 [3] - 人形机器人领域,宇树科技Unitree系列通过Habitat预训练完成基础导航任务,智元机器人集成目标驱动导航模块,特斯拉Optimus展示端到端操作能力 [3] 技术演进与生态发展 - Habitat仿真生态完整记录技术迭代轨迹,评测体系从点导航(PointNav)扩展至图像导航(ImageNav)、目标导航(ObjectNav)及移动抓取任务 [4] - 技术突破包括视觉预训练模型提升特征泛化能力,分布式强化学习框架(DDPPO)使PointNav任务SPL指标显著提升,大语言模型解决开放词汇导航难题 [4] - 当前技术梯度明显:PointNav和闭集ObjectNav接近人类表现,开放词汇物体导航和动态障碍物场景仍面临重大挑战 [4] 三代技术路线迭代 - 第一代端到端方法基于强化学习与模仿学习框架,在点导航与闭集图片导航任务中SPL指标逼近人类表现 [5] - 第二代模块化方法通过显式构建语义地图分解任务,利用预训练视觉语言模型(如CLIP)实现跨模态语义对齐,零样本目标导航任务成功率显著提升 [5] - 第三代LLM/VLM融合方法引入大语言模型知识推理能力,生成语义指导的探索策略,并通过视觉语言模型提升开放词汇目标匹配精度 [7] 技术挑战与学习路径 - 目标驱动导航需综合自然语言处理、计算机视觉、强化学习和场景图知识,领域论文数量繁多且碎片化,入门难度高 [9] - Habitat生态研究缺乏高质量文档,学习过程中需结合实战完成闭环但缺乏系统指导 [9] - 课程设计聚焦三大核心:快速入门核心技术栈、构建领域研究框架、理论结合实践完成算法复现与部署 [10][11][12] 课程体系架构 - 第一章系统构建理论基础与技术谱系,对比分析三代技术演进路径(端到端训练、模块化架构、LLM/VLM融合) [16] - 第二章深度解构Habitat仿真平台技术架构,实践内容包括RGB/Depth相机配置、物理属性参数化及NavMesh路径规划算法调试 [17][28] - 第三至五章分别解析端到端导航(ZSON/PIRLNav框架)、模块化导航(SemExp/VLFM路径)、LLM/VLM驱动系统(InstructNav/3Dmem模型)的算法设计 [19][21][23] - 大作业要求复现VLFM算法并探索实机部署,涵盖占据地图构建、边缘探索点生成、值地图设计及仿真到真实场景迁移 [25][29] 行业应用与人才需求 - 目标学员包括机器人抓取领域从业人员、具身智能研究者、计算机视觉/自动驾驶转行者,需具备Python/PyTorch基础及3060以上显卡算力 [33] - 课程培养目标涵盖Habitat仿真开发能力、零样本导航技术落地、Sim2Real部署流程掌握,匹配科研与工业应用需求 [33]