Workflow
自动驾驶之心
icon
搜索文档
清华教研团队!两个月从零搭建一套自己的自动驾驶VLA模型
自动驾驶之心· 2025-09-28 15:21
端到端之后,学术界和工业界聚焦的方向是什么?无疑是VLA。VLA提供了类人思考的能力,把车辆决策的过程通过思维链的形式展现出来,从而提供 更可靠更安全的自动驾驶能力。 自动驾驶VLA目前可以分为模块化VLA、一体化VLA和推理增强VLA三个子领域。 自动驾驶VLA涉及的核心内容包括视觉感知、大语言模型、Action建模、大模型部署、数据集制作等等。最前沿的算法包括CoT、MoE、RAG、强化学 习。通过学习VLA,可以让自己对自动驾驶的感知系统有更深刻的认知。 为此我们联合 清华大学的教研团队 开展了这门《自动驾驶VLA与大模型实战课程》!课程包含自动驾驶VLA三个子领域前沿算法的细致讲解,并会配 备两个实战及一个课程大作业深入理解自动驾驶VLA。 扫码报名!抢占早鸟名额 讲师介绍 咖喱,清华大学硕士生 :在ICCV/IROS/EMNLP/Nature Communications发表论文若干篇。目前从事多模态感知、自动驾驶VLA、大模型Agent等前沿算 法的预研,并已主持和完成多项自动驾驶感知和大模型框架工具,拥有丰富的自动驾驶、大模型研发和实战经验。 从技术的成熟度及就业的需求来看,自动驾驶VLA是各家 ...
为什么自动驾驶中的强化学习,没有很好的落地?
自动驾驶之心· 2025-09-28 11:50
如果您也想和自动驾驶学术界或工业界的大佬交流,欢迎加入自动驾驶之心知识星球。 我们是一个认真做内容的社区,一个培养未来 领袖的地方。 『自动驾驶之心知识星球』目前集视频 + 图文 + 学习路线 + 问答 + 求职交流为一体,是一个综合类的自驾社区,已经超过4000人了。 我们期望未来2年内做到近万人的规模。给大家打造一个交流+技术分享的聚集地,是许多初学者和进阶的同学经常逛的地方。 为什么自动驾驶领域内的强化学习,没有很好的落地? 柱哥昨晚和星球嘉宾讨论自动驾驶强化学习的内容,分享给大家。 强化学习一直面临一个很严重的问题 - reward hack,当安全要求提高后,效率会降低。效率提升又可能导致安全性降低。所以这就引申 出一个问题,如何设计一个balance的reward,能够去平衡每一项表现。想得到一个全面性能提升的强化学习模型,其实非常难。多个 reward之间如何达到平衡也非常困难的。当然也有类似使用逆强化学习的方法去训练每一个reward的权重。 具身智能在我的理解中是一个local motion 的工作,它的目标很清晰。但自动驾驶不仅要完成最终行驶的目标,在中间的过程还要强依 赖某些驾驶规则。比 ...
UCLA最新!大模型时序推理和Agentic系统的全面综述
自动驾驶之心· 2025-09-28 07:33
当城市早高峰的车流数据实时涌入交通管控系统,当医院的心电图仪持续记录患者的心脏电活动,当股票交易所的行情面板每秒刷新数十次股价波动——这些伴 随时间流逝不断产生的"时间序列数据",早已成为现代社会运转的"数字脉搏"。从金融风控、医疗诊断到能源调度、交通管理,几乎所有关键领域的决策,都依赖 于对这些 时序数据 的深度解读。 过去数十年间,时间序列分析领域涌现出了从经典统计模型(如ARIMA、ETS)到深度学习方法(如LSTM、Transformer)的大量技术,它们在"预测未来""识别 异常"等基础任务上取得了显著进展。例如,早期用LSTM预测未来24小时的城市用电量,用CNN检测心电图中的心律失常片段,这些传统技术早已落地于实际场 景。 但随着应用需求的不断升级,传统方法的"能力边界"逐渐显现。在个性化医疗场景中,医生不仅需要模型判断"患者是否存在心律异常",更需要知道"异常与哪些 生理指标、哪个时间段的活动相关";在自适应风险管理中,基金经理不仅需要股价预测结果,更需要理解"若政策调整,股价可能如何变化"的因果逻辑;在 autonomous 交通系统中,控制器不仅要检测拥堵,还需实时调整信号策略并验证效果— ...
会自检的VLA!ReflectDrive:更安全更高效scaling的端到端框架(理想&清华)
自动驾驶之心· 2025-09-28 07:33
会自检的ReflectDrive:我的轨迹我做主,安全感拉满! 端到端自动驾驶已成为一个重要且快速发展的研究领域。通过大规模数据集学习类人驾驶策略具有相当大的潜力。但是在多模态性能以及长尾场景, 没有可持续解决问题的框架。如果仅依赖强化学习来加强,那么reward hack又成为了棘手的问题,很难写出一个全面的reward可以适用连续轨迹复杂的 三维空间。所以近年来大语言模型的泛化能力突破让大家看到了希望,是否能够利用模型scaling以及数据scaling去激发模型的泛化性能,也就是vla模 型的兴起。 大家都想利用上vlm的泛化能力,用更少的数据去解决few shot/zero shot的场景。下面是对于目前自动驾驶方案vla方案的痛点分析: 基于上面的描述,可以看出目前迫切需要做到的是L模态和A模态的融合,一种更容易scaling的统一的架构,同时还要做到高效生成。为应对这些挑 战, 理想和清华的团队提出ReflectDrive——一种新型学习框架,通过离散扩散的反思机制实现安全轨迹生成。 我们首先将二维驾驶空间离散化以构 建动作代码本,从而能够通过微调将预训练扩散语言模型用于规划任务。该框架的核心是安 ...
NeurIPS 2025 | SURDS 数据集与 GRPO 全面强化自驾空间推理
自动驾驶之心· 2025-09-28 07:33
以下文章来源于深蓝AI ,作者深蓝学院 深蓝AI . 专注于人工智能、机器人与自动驾驶的学习平台。 作者 | 深蓝学院 来源 | 深蓝AI 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享,如有侵权,联系删文 摘 要 在大模型飞速发展的当下,让多模态大语言模型(VLM)在自动驾驶场景图像中做出准确的空间推理,依然是人工智能领域的一大挑战。学术界一直缺 乏针对自动驾驶场推理的大规模基准,现有方法往往依赖外部专家模型,难以全面衡量模型能力。 与此形成鲜明对比的是,人类可以凭借已有知识轻松判断图像中物体的朝向,或推理多个物体的相对位置。而VLM同样具备丰富的知识,却仍在此类任务上 表现不足。 为此,武汉大学联合中科院自动化所,北京智源人工智能研究院 (BAAI)等多家单位推出 首个面向驾驶场景的VLM空间推理大规模基准 SURDS ,系统评测了 包括 GPT 系列在内的通用模型及 SpatialRGPT 等空间推理模型,全面揭示了当前VLM在空间理解方面的短板。研究团队通过设计"感知准确性"和" ...
合伙人招募!4D标注/世界模型/VLA/模型部署等方向
自动驾驶之心· 2025-09-28 07:33
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 业务合伙人 自动驾驶之心业务合伙人招募来啦!我们团队今年计划向国内外招募10名优秀的合伙人,负责自动驾驶相 关课程研发、论文辅导业务开发、硬件研发; 主要方向 创业项目合作与推荐; 联系我们 更多欢迎添加微信咨询,备注" 机构/公司 + 自动驾驶合作咨询 "。 如果您是大模型/多模态大模型、扩散模型、VLA、端到端、具身交互、联合预测、SLAM、3D目标检测、 世界模型、闭环仿真3DGS、大模型部署与量化感知推理等方向,欢迎加入我们; 岗位要求 QS200以内高校,硕士及以上学历,手握顶会的大佬优先。 待遇说明 自动驾驶资源共享(求职、读博、出国留学推荐等); 丰厚的现金激励; ...
被时代落下的老牌车企们,真得补作业了...
自动驾驶之心· 2025-09-27 14:13
行业背景与拐点 - 2024年12月价格战引发汽车行业普遍焦虑[3] - 2025年下半年成为传统车企智能驾驶转型新拐点[5][12] - 行业加速技术人才流动 部分人才转向具身智能领域[11] 车企战略动态 - 一汽收购卓驭科技35.8%股权成为最大股东[6] - 吉利整合极氪智驾团队、吉利研究院及迈驰智行至重庆千里科技[7] - 奔驰投资13亿元获得千里科技3%股权[8] - 长安汽车进行高管团队重大调整[9] - 9月份行业出现13家车企高管岗位调整 涉及10位品牌一把手[10] 传统车企转型动因 - 传统车企智能驾驶进度比新势力慢2-3代 主要受制度限制[13] - 上半年价格战促使老牌车企急需提升品牌力[15] - 行业形成天时地利人和的发展契机[16] 四大发展路线 收购派 - 通过资本收购换取发展时间 一汽收购卓驭为典型案例[17] 广撒网派 - 采用多供应商策略 广汽同时与华为、Momenta、博世、轻舟等合作[18] 抱大腿派 - 赛力斯模式获得成功 市值从200亿元增长至2568亿元[20][21] - 张兴海家族财富达到560亿元 位列新财富500强第34位[22] 自研派 - 比亚迪采用混合路线 与Tier1合作同时推出自研天神之眼系统[24] - 长安引入许凌云博士后 泊车团队半年实现量产交付[24] - 长安自研泊车产品在部分性能上达到华为系水平[24] 技术发展与市场趋势 - 2024年为国内端到端量产元年 2026年将成端到端大年[26] - 新势力和头部智驾公司已量产一段式端到端系统[27] - 2025年7月中国新能源汽车渗透率首次突破50%[27] - 智能驾驶被视为车企灵魂业务[25]
某头部车企的自研大考......
自动驾驶之心· 2025-09-27 00:03
以下文章来源于红色星际 ,作者红色星际科技 红色星际 . 让更多人,更深入地了解自动驾驶行业! 作者 | 红色星际科技 来源 | 红色星际 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 某头部车企的智驾自研团队到了要"大考"冲刺交卷时刻了。据悉,今年内部制定的目标是9月30日研发出无图城区NOA,12月30日研发出端到端。 这是一场重要的限时"大考" ,对于智能化总负责人以及算法负责人来说,能不能如期交卷,决定了其未来的前途命运。 目前自研量产上车的高速NOA还非常依赖高精地图,即使把无图城区NOA和端到端自研出来,在研发进度也落后新势力以及头部智驾公司至少一年多。 如果不能如期交卷,就实在说不过去了,这家头部车企的BOSS就要问责了,会引发一波动荡。过去两年这家头部车企自研智驾上算是非常动荡,经历了几轮调整 重组,技术负责人换来换去。 更何况智驾研发上的投入非常大,已经超过了一些新势力。所以,智能化总负责人压力满满。 BOSS非常重视智驾,并将其视为未来战略的重中之重,所以研发投入非常舍得花钱。为了招 ...
对比之后,VLA的成熟度远高于世界模型...
自动驾驶之心· 2025-09-27 00:03
作者 | 周彦武 来源 | 佐思汽车研究 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 首先需要指出VLA和世界模型都是端到端的一种,尽管很多人都认为一段式端到端比分段式优秀,但无论是产业界还是学术界,90%以上都是分段式端到端,纯 粹的VLA和世界模型非常罕见。 代表VLA阵营出战的是高德地图的 模型,地平线的SENNA模型,还有加州大学洛杉矶分校的AutoVLA。代表世界模型出战的有和特斯拉中国 FSD很接近的上海AI实验室的GenAD模型,做重卡自动驾驶的中科慧拓的GenAD模型,华为和浙江大学合作的Drive-OccWorld,还有理想汽车的World4Drive,理 想汽车尽管推崇VLA,但对世界模型的研究水平也是极高的。 | 模型名称 | L2平均距离(米) | 3秒平均碰撞率 | 备注 | | --- | --- | --- | --- | | AutoDrive-R2 | 0.19 | | 70亿参数版 | | AutoDrive-R2 | 0.49 | | 30亿参数版 | | SENNA | 0.22 | 0.08% | 加入自车状态 ...
自动驾驶之心国庆&中秋节活动进行中(课程/星球/硬件优惠等)
自动驾驶之心· 2025-09-27 00:03
星球优惠!新人七折续费五折 星球核心内容一览! 驾 + 具 身 所有课程 频售课程除夕 ▲星球福利 / xING QIU FU LI 7折优惠,立减80 7折优惠, 立减99 节后将再次涨价 赠送7门精品课程 具身智能之心 自动驾驶之心 ▲ 福利专区 /FU LI ZHUAN QU O 1.大模型星球 99元一年,(技术 + 行 业 + 求职) 2. 1v1辅导辅导最高1000抵扣 5000 3.1v6论文辅导立减*1000 4. 超级折扣卡:*299元 自驾课程七折 优惠 (一年期) ▲ 伊件福利 /YIN JIAN FU LI 欢迎添加小助理咨询活动详情! 平台课程八折优惠券 超级折扣卡!课程享受七折优惠 自动驾驶之心 知识星球 技 最前沿的 自驾技术社区 术 f 7 P 7 5 r 6 自动驾驶VLA 世界模型 闭环仿真 扩散模型 BEV感知 --- 近40+学习路线 保持活力,持续学习 交 学术界&工业界 大佬面对面交流 4 r r VLA和WA的路线之争 未来自驾的发展方向 世界模型到底model了个館? 关于端到端的讨论 星友面对面 直击行业第一线 直 → 顶会作者亲临 播 6 f t r r I ...