来源 | 深蓝AI 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享，如有侵权，联系删文 导读 人类在公路上驾驶车辆的时候往往会这样思考： 先扫一眼整体路况——有没有学校、施工、突然滚到路中央的足球；再决定是变道还是减速；最后才打 方向、踩刹车。短短几秒，人脑完成了"策略–战术–操作"三层级联推理，而今天的端到端自动驾驶却大多只会"直接吐轨迹"，既解释不了自己为什么这 么做，也应付不了没见过的新场景。 为了弥补这一差距， 上海科技大学 & 香港中文大学 的 最新工作 ReAL-AD 把「 人类式思考 」搬进了 自动驾驶决策模型之中 。 它 一种推理增强学习框 架，基于三层人类认知模型（驾驶策略、驾驶决策和驾驶操作）来构建自动驾驶中的决策过程，并引入视觉-语言模型（VLMs）以增强环境感知和结构化推 理能力。 简单来说，它会让 VLM担任"副驾驶"，先把画面翻译成"看到足球→可能有小孩→需减速避让"的高维策略，再细化为"保持车道、减速 20%"的战 术命令，最终由分层解码器输出平滑轨迹。 下 ...

自动驾驶行业现状 - 自动驾驶行业进入理性发展阶段，资本更加谨慎，公司首要目标是"活下去"和"跑通商业模式"[2] - 行业预计在未来1-3年将经历深度调整和洗牌[2] - 技术栈虽完备但距离大规模商业化落地仍有差距，实验室效果与真实路况表现存在工程鸿沟[3] 人才供需矛盾 - 行业出现"岗位虚位以待但人才难觅"现象，企业对顶尖人才和高度适配人才需求达到前所未有的高度[2][4] - 3-5年经验岗位薪资可达百万级别[2] - 求职者需具备过硬技术能力且适配前沿研究和量产方向[3] 技术社区发展 - 自动驾驶之心知识星球已成为国内最大自驾技术社区，拥有4000名成员和100+行业专家[7][9] - 社区提供30+自动驾驶技术学习路线，覆盖感知、定位、规划控制等几乎所有子方向[9][69] - 与数十家自动驾驶公司建立内推渠道，简历可直接送达[10][67] 前沿技术方向 - 视觉大语言模型(VLM)成为研究热点，涉及预训练、迁移学习、知识蒸馏等多个技术领域[15][16][17] - 世界模型在自动驾驶中的应用日益广泛，如HERMES、DriveWorld等模型实现3D场景理解和生成[34][36] - 扩散模型在自动驾驶视频生成、数据增强等方面发挥重要作用[37][43] - 端到端自动驾驶成为重要研究方向，涉及感知、预测、规划等多个环节[31][49][52] 技术应用与数据集 - 自动驾驶数据集涵盖2D/3D目标检测、语义分割、目标跟踪等多个任务[25] - 语言增强的自动驾驶系统数据集快速发展，支持自然语言导航和空间推理等高级功能[26] - 智能交通领域应用包括车辆检索、视觉问答等实际场景[27] - 自动驾驶感知技术应用于行人检测、3D目标检测等具体任务[28] 行业挑战与解决方案 - 远距离Occupancy检测效果不佳，可能由激光雷达稀疏和监督真值空洞导致[100][101] - 地下车库自动泊车通过视觉传感器和建图技术实现定位[96] - 3D目标检测研究趋于成熟，建议从BEV感知入手学习前沿算法[96]

点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 今天自动驾驶之心为大家分享 华中科技大学&旷视科技 最新的工作！ 首个统一驾 驶世界模型HERMES，BEV+世界查询协同优化3D驾驶场景，生成误差降三成！ 如果您有相关工作需要分享，请在文末联系我们！ 自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一 步咨询 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 论文作者 | Xin Zhou等 编辑 | 自动驾驶之心 概述 自动驾驶领域中，驾驶世界模型（DWMs）已成为核心工具，但现有模型存在明显割裂：一类专注于场景 生成，能预测环境演化（figure 1(a)），却难以解读、描述环境或回答相关问题；另一类以视觉语言模型 （VLMs）为代表，擅长场景理解，可处理复杂查询、生成描述（figure 1(b)），但缺乏对未来场景的预测 能力。 为打破这种割裂，本文提出HERMES——一个能同时实现3D场景理解与未来场景生成的统一框架（figure 1(d)）。其核心创新在于通过BEV表示整合多视图空间信息，并引入"世界查询"机制， ...

具身智能系统架构 - 具身智能系统由"大脑"、"小脑"和"身体"三部分组成，分别对应认知决策、运动控制和物理执行功能 [2] - "大脑"采用大语言模型和视觉语言模型，具备感知、理解、推理和规划能力，是系统的智慧核心 [2] - "小脑"运用运动控制算法和反馈控制系统，实现精准流畅的动作控制，被称为"动作艺术家" [2] - "身体"作为物理载体，负责将认知决策和运动指令转化为实际动作，完成"知行合一" [2] 当前技术挑战 - "大脑"需提升自主推理能力，实现无指令、无地图环境下的实时在线思考与路径规划 [3] - "小脑"需增强适应性，在复杂物理环境中实现类人类的直觉反应和精细操作 [3] - 系统需解决"大脑"与"小脑"的协同问题，目前存在信息传递延迟和动作响应滞后 [3] - 数据采集面临成本高、质量差等挑战，需构建真实多样且可迁移的训练数据集 [3] 行业技术进展 - 北京智源人工智能研究院和智元机器人正在开展具身智能相关研究 [3] - RoboBrain 2.0和RoboOS 2.0等系统展示了最新技术成果 [5] - 对抗性数据收集方法(Human-Collaborative Perturbations)可提升模仿学习效率与鲁棒性 [5] - 相关研究成果已在ArXiv等平台公开发表，涉及机器人操作系统和脑机协同等领域 [7] 未来发展方向 - 行业聚焦于提升具身智能系统的认知能力、运动控制精度和系统协同效率 [4] - 需建立更高效的数据获取与处理体系，解决数据质量与成本问题 [3] - 技术突破将推动具身智能向通用人工智能(AGI)方向发展 [3]

自动驾驶技术研究 核心观点 - 提出DriveMRP框架，通过合成高风险运动数据（DriveMRP-10K）和视觉提示方案，显著提升视觉语言模型（VLM）在自动驾驶场景中的风险预测能力，事故识别准确率从27%提升至88% [1][7][8] - 创新性地将运动路点投影为视觉表示，结合BEV全局上下文和链条推理机制，解决传统VLM在模态差距和可解释性上的局限 [6][13] 现有方法局限 - 规则基方法依赖外部世界模型和预定义规则，对感知误差敏感且泛化性差 [2] - VLM基方法直接输入轨迹坐标文本，因模态差距导致空间关系理解不足 [4] 创新方案 数据集构建 - DriveMRP-10K包含10,000个高风险场景，通过多项式模拟生成三类风险轨迹（ego车辆行为/车辆交互/环境约束），结合GPT-4o生成多模态标注数据 [5] - 采用四阶段流程：高风险轨迹合成→自动标注→人工质检→文本生成，确保数据质量 [5] 模型架构 - DriveMRP-Agent以BEV布局、场景图像和运动路点为输入，通过LoRA微调Qwen2.5VL-7B模型 [6] - 关键组件：视觉提示方案（解决模态差距）、链条推理机制（场景理解→运动分析→风险预测）、CoT训练策略 [6] 性能表现 基准测试 - 在DriveMRP-10K上，ROUGE-1-F1达69.08，风险预测准确率88.03%（基线27.13%），F1分数89.12 [7][8] - 真实世界数据零样本评估中，准确率从29.42%提升至68.50% [9] 数据集有效性 - 微调后Llava-1.5-7B的F1分数从0.85提升至29.99，Qwen2.5-VL-7B的F1达89.12 [11] 组件分析 - 完整模型（视觉提示+链条推理+BEV）性能最优，F1分数89.12；移除BEV后降至83.47 [13] 技术应用 - 方案可增强现有VLM的"即插即用"能力，适用于端到端自动驾驶、BEV感知、轨迹预测等技术方向 [15][17]

视觉语言模型的偏见问题 - 核心观点：视觉语言模型(VLMs)并非真正"看"图像，而是依赖记忆中的先验知识进行判断，导致对反常识图像的识别错误[19][20][38] - 实验证据：当展示6根手指图片时，包括GPT-4、Gemini-2.5 Pro、Claude 3.7等主流模型100%错误识别为5根[40][45][63] - 机制分析：模型通过高频关联建立强先验知识（如"阿迪达斯=三条纹"），当视觉输入与常识冲突时优先选择记忆而非真实观察[54][55][64] 行业应用风险案例 - 工业质检：AI可能将罕见零件缺陷误判为光学误差，导致安全隐患[72][73][74] - 医疗领域：肺癌筛查等医疗诊断仍需医生复核AI判断，显示可靠性存疑[77] - 自动驾驶：对非常规交通场景（如异常数量行人）的识别可能失效[77] 技术局限性数据 - 品牌标识测试：修改阿迪达斯条纹数量后，所有模型仍坚持回答3条[39][40] - 动物肢体测试：5腿狮子/3脚鸟等异常图片识别准确率仅2%[43][45] - 国旗测试：美国国旗条纹数识别错误率达92%（模型回答13条vs实际12/14条）[47] 底层机制解释 - 数据训练方式：模型通过吸收数百亿张图片建立关联记忆而非理解[50][51] - 决策冲突：视觉模块与知识模块产生矛盾时，后者权重显著更高[63][65] - 干预无效：明确要求模型"仅根据图片回答"仅提升2%准确率[67][68]

视觉语言模型的偏见问题 - 核心观点：当前主流视觉语言模型（如GPT-4、Gemini、Claude等）在图像识别中严重依赖先验记忆而非实际视觉分析，导致对反事实图像（如六指手、四条纹阿迪达斯鞋）的识别准确率极低[5][12][17] - 实验数据：模型在识别异常图像（五腿狮子、三脚鸟等）时平均准确率仅2.12%[15]，数国旗条纹错误率超80%[16] - 机制解释：模型通过海量数据训练形成强关联性先验知识（如"狗=四条腿"、"阿迪达斯=三条纹"），视觉输入与记忆冲突时优先选择记忆答案[23][25][26] 多模态模型测试结果 - 跨模型验证：OpenAI o3/o3 pro、豆包、Kimi、Gemini等模型对六指图像均错误识别为五指，仅Claude 4存在部分正确率[4][5] - 响应特征：模型在48秒推理后仍坚持错误结论，人工提示仅提升2%准确率[3][28] - 表格数据：阿迪达斯四条纹被100%错误识别为三条纹，PUMA标识错误率超75%[13] 工业应用风险 - 质检场景：AI可能因罕见缺陷（如零件裂缝）不符合先验知识而误判合格，潜在导致安全事故[30][32] - 医疗领域：肺癌筛查等场景需医生二次验证AI判断，反映模型可靠性存疑[34] - 交通隐患：对异常目标（夜间行人、突发障碍物）的识别可能受偏见影响[35][36] 技术本质分析 - 训练缺陷：模型通过记忆数百亿图片文本建立知识库，而非真正理解视觉元素[18][19] - 认知类比：与人类"雷碧"误认现象类似，依赖快速模式匹配而非细节分析[11][12] - 矛盾机制：视觉模块与知识模块冲突时，模型优先选择高概率常识答案[24][25] 行业启示 - 当前局限：视觉语言模型在反事实识别、细节观察等场景存在系统性缺陷[37][38] - 应用建议：关键领域需保留人工复核机制，不能完全依赖AI视觉判断[34][39] - 发展需求：需突破基于记忆的推理框架，建立真正的视觉理解能力[26][38]

核心观点 - 游戏代码可自动合成视觉推理数据，提升AI几何与图表推理能力 [1][4] - 游戏具备三大优势：规则明确、因果推理链完整、LLM生成成本低 [12] - Code2Logic方法通过LLM三步骤转化游戏代码为多模态推理数据 [13][14][15] - GameQA数据集含14万问答对，覆盖4类认知能力与30种游戏 [18][21] - 游戏数据训练使模型在域外任务和通用基准上均获显著提升 [24][25][26] 研究方法 - 游戏代码构建：LLM自动生成完整游戏逻辑（如推箱子） [13] - QA模板设计：从代码提取推理模式并设计任务模板 [14] - 数据引擎构建：自动化生成问答实例且保证正确性 [15] - 数据集特点：细粒度难度控制（Easy/Medium/Hard三级） [20] - 对比实验：5K GameQA样本效果优于8K几何数据集 [28][29] 数据集表现 - 人类在域内游戏测试准确率达84.75%，Claude-3.5仅47.69% [22] - Gemini-2.5-Pro表现最佳达58.95%，仍显著低于人类 [22] - 开源模型Qwen2.5-VL-7B训练后平均提升2.33% [25][26] - InternVL3-8B在MathVista达73%，超几何数据集67.63% [26][29] - 游戏多样性提升域外泛化效果1.80% [37] 模型能力分析 - 3D空间感知是最大短板，易混淆物体高度关系 [42] - 非网格化场景（如祖玛）中模式识别困难 [43] - 多次识图易受文本干扰导致图文不符 [44] - 策略规划能力不足，缺乏直觉剪枝能力 [45] - GRPO训练后视觉感知提升10.94%，文本推理提升14.95% [32] 行业意义 - 首次验证游戏作为可验证环境提升通用智能的潜力 [48] - 低成本可扩展数据合成方法突破多模态数据稀缺瓶颈 [4][19] - 游戏认知多样性能迁移至数学等非对口领域 [29] - 揭示当前VLMs在3D感知和策略规划的根本缺陷 [42][45] - 为多模态大模型训练评估提供理想数据源 [48]

目标驱动导航技术概述 - 具身导航涉及语言理解、环境感知、路径规划三大技术支柱，目标驱动导航是其最具代表性的方向，要求智能体在陌生环境中仅凭目标描述自主完成探索与路径规划[2] - 与传统视觉语言导航不同，目标驱动导航需实现从"听懂指令走对路"到"看懂世界自己找路"的跃迁，涉及语义解析、环境建模和动态决策能力[2] 产业化落地现状 - 终端配送场景中，美团无人配送车通过动态路径重规划在复杂城市环境执行任务，Starship Technologies的园区配送机器人已在欧美高校和社区部署[3] - 医疗/酒店/餐饮场景中，嘉楠科技、云迹科技、擎朗智能的商用服务机器人及美国Aethon的TUG系列实现药品、文件和餐食自主配送[3] - 人形机器人领域，宇树科技Unitree系列通过Habitat预训练完成基础导航，智元机器人集成目标导航模块，特斯拉Optimus展示端到端操作能力[3] 技术发展代际 - 第一代端到端方法：基于强化学习与模仿学习，在PointNav和闭集图片导航任务中SPL指标逼近人类表现[5] - 第二代模块化方法：通过显式构建语义地图分解任务，在零样本ObjectNav任务中未见物体场景成功率显著提升[5] - 第三代LLM/VLM融合方法：利用大语言模型生成语义指导策略，视觉语言模型提升开放词汇匹配精度，当前重点为设计场景表征接口[7] Habitat仿真生态 - 2020年CVPR提出PointNav基准后，评测体系扩展至ImageNav、ObjectNav及移动抓取任务，形成技术闭环[4] - 视觉预训练模型提升特征泛化能力，DDPPO框架使PointNav任务SPL指标显著提升，LLM解决部分开放词汇导航难题[4] - Meta AI的Sim2Real迁移框架为仿真到真实部署提供方法论，CMU与Stanford推动动态环境语义地图更新技术[4] 技术挑战与课程设计 - 学习路径需整合自然语言处理、计算机视觉、强化学习和场景图知识，面临论文碎片化与实战闭环缺失的挑战[9] - 课程覆盖三代技术演进路径（端到端/模块化/LLM融合），包含Habitat仿真生态解析及VLFM算法复现等实战环节[15][16][24] - 学员将掌握零样本导航、开放词汇识别等关键技术，理解Sim2Real部署流程，具备论文级算法改进能力[31]

出发点与优化目标 - 导航是自主智能体领域的基础能力，需要融合空间推理、实时决策和环境适应能力，但人工系统复现这一能力仍面临巨大挑战 [4] - 传统导航方法存在泛化性差、可扩展性不足和部署困难等问题，因其依赖模块化设计和特定任务工程 [4] - 视觉语言模型（VLM）为导航领域带来新思路，但受限于空间粒度和上下文推理能力不足 [4] - DyNaVLM提出零样本、端到端导航框架，无需微调或接触导航特定数据即可直接作为导航策略使用 [4] DyNaVLM核心创新点 - 动态动作空间构建：通过视觉语言推理实现自由形式目标选择，摒弃固定运动原语，提升运动灵活性和导航效率 [6] - 协作图记忆机制：受检索增强生成（RAG）启发，开发动态知识图捕捉空间关系和语义对象信息 [8] - 无需训练的部署模式：无需任务特定微调即可直接应用于新场景，降低部署成本并提高泛化能力 [8] 系统架构与方法 - 问题形式化定义：输入包括目标描述、RGB-D观测和机器人位姿，输出为动作，采用极坐标参数化动作空间 [11] - 记忆管理器：维护动态知识图，实现持久空间知识表示、跨机器人记忆共享和上下文感知记忆检索 [12][13] - 动作Proposer：采用基于候选的离散化策略，将连续搜索空间简化为有限均匀采样点集合 [14] - 动作Selector：综合几何候选点、感知上下文和记忆生成最终导航动作，包括空间采样和安全感知过滤 [14][16] 实验评估 - 模拟环境评估：在ObjectNav基准上取得45%成功率和0.232 SPL，优于PIVOT和VLMnav等框架 [19][22] - 真实世界评估：部署在Unitree Go2机器人上，在定位多个目标任务中成功率和行进距离显著优于VLMnav [25][27] - 协作图记忆机制在长且复杂导航任务中表现关键，帮助跟踪已访问位置并有效规划未来移动 [22]