自动驾驶之心
搜索文档
浙大一篇中稿AAAI'26的工作DiffRefiner:两阶段轨迹预测框架,创下NAVSIM新纪录!
自动驾驶之心· 2025-11-25 08:03
文章核心观点 - 提出一种名为DiffRefiner的全新两阶段轨迹预测框架,该框架融合了判别式轨迹提议与生成式扩散精炼,旨在解决端到端自动驾驶规划中的多模态挑战 [3][9] - 该框架通过基于Transformer的提议解码器生成粗粒度轨迹预测,再通过扩散精炼器进行迭代优化,显著提升了规划性能 [3][9] - 在NAVSIM v2和Bench2Drive两个公开基准测试中均达到当前最优性能,EPDMS分数为87.4,驾驶分数为87.1,成功率为71.4% [3][11][41][42] 技术背景与动机 - 传统单阶段回归方法在处理轨迹预测任务的多模态特性方面存在局限,易导致预测效果欠佳和泛化能力差 [7] - 基于扩散模型的生成式方法能学习未来运动的潜在分布,生成多样化轨迹,但依赖无结构噪声或固定锚点初始化,存在计算延迟和场景适应性不足的问题 [2][8] - 离散化解空间的方法(如基于评分的方法)随着锚点集规模增大会导致计算复杂度显著增加,限制其在延迟敏感系统中的应用 [7] DiffRefiner框架设计 - 采用粗到细的两阶段架构:第一阶段使用基于Transformer的提议解码器回归预定义轨迹锚点,生成粗粒度轨迹提议 [9][14][20] - 第二阶段引入条件扩散精炼器,对初始提议进行迭代去噪与优化,并设计了细粒度去噪解码器以增强场景适应性 [9][14][22] - 框架整合三个关键组件:以BEV为中心的感知模块、粗轨迹提议解码器和基于扩散的轨迹精炼器 [14] 关键技术创新 - 提出细粒度语义交互模块,通过交叉注意力和可变形注意力分层整合全局场景上下文与局部几何细节,实现轨迹与环境的精准对齐 [10][27][30] - 采用自适应门控网络动态融合全局场景表征与局部语义信息,平衡粗粒度上下文理解与精准空间对齐 [10][32] - 通过两阶段训练方案优化模型,采用赢者通吃策略选择最接近真实轨迹的预测进行损失计算 [34][36] 实验验证与性能 - 在NAVSIM v2开环基准测试中,EPDMS分数达到87.4,使用ResNet34骨干网络时相比之前最佳方法提升3.7%,使用V2-99骨干网络时提升1.6% [3][41] - 在Bench2Drive闭环基准测试中,驾驶分数达到87.1,成功率达到71.4%,相比之前最佳方法驾驶分数提升0.3,成功率提升2.3 [3][42] - 消融实验证实了各组件有效性,引入精炼器使EPDMS提升1.2,仅需一次去噪步骤即可实现接近最优性能,表明框架适用于实时系统 [43][50] 性能优势体现 - 在复杂交互场景中,该方法能更好地关注细粒度场景细节,减少与周围智能体的碰撞,并更严格地遵守地图约束 [51] - 该混合范式在大多数多能力指标上均取得持续提升,证明了其在多样化交互式驾驶场景中的鲁棒性和有效性 [42]
汽车人才,扎堆逃离上海......
自动驾驶之心· 2025-11-25 08:03
上海汽车产业人才历史集聚 - 上海是中国现代汽车产业的摇篮,最早的三家合资车企中只有上海大众存活并发展壮大,其巅峰时期年销量超过200万台,是中国产销规模最大的车企 [2] - 通过上海大众和上海通用的发展,上海虹吸了全国数万名汽车人才,服务于两家主机厂及数百家零部件供应商 [3] - 上汽集团借助合资企业经验,自2007年起推出多个自主品牌,吸纳了大量汽车人才 [6] - 2010年前后,多家外资车企如福特、沃尔沃、保时捷、宝马等在上海设立研发中心,进一步招聘大量汽车人才 [8] - 众多造车新势力也因上海的人才集聚效应在此设立总部或研发中心,截至2022年,上海从事汽车研发与营销的高端人才保守估计有5万人 [10] 上海汽车产业衰退与人才流失 - 从2023年开始,上海汽车人才出现净流出,转折点始于2022年末的上海造车新势力倒闭潮 [11] - 总部位于上海的造车新势力中,除蔚来外,威马、天际、爱驰、高合、哪吒、极越等均已停产,仅极石、吉祥、悠跑勉强维持 [12] - 传统车企如上汽大众、上汽通用销量已下降至高峰期的一半,并经历多轮裁员,外资车企如沃尔沃、保时捷的上海研发中心也在2025年大规模裁员 [12] - 因新势力停产和传统车企萎缩导致的裁员至少涉及2.5万人,上海高端汽车人才失业率约50% [13] - 上海汽车求职市场岗位数量远小于求职者数量,轻松涨薪30%换工作的现象已不复存在 [14] 人才流向与行业新趋势 - 上海汽车人才在本地找不到合适工作后,纷纷将目光投向全国,作者估计其前同事中有三分之二已去异地工作,工作日在外地,周末回上海与家人团聚 [17][18] - 人才主要流向芜湖的奇瑞汽车、宁波的吉利研究院、杭州的吉利总部,以及广州、北京、合肥、重庆、武汉等地的汽车公司 [19][21] - 部分汽车人才已走出国门,被派往美国、英国、德国、西班牙、泰国、马来西亚、法国等地,为中国品牌开拓国际市场 [23][24] - 在外省市自主品牌如比亚迪、吉利、奇瑞、赛力斯销量以30%-50%速度增长的背景下,这些公司已能开出与造车新势力接近的薪资,吸引力增强 [15][16] - 尽管国内市场竞争激烈,但全球大量发展中国家千人拥车量仍很低,中国汽车出海拥有巨大长期发展潜力 [25][26]
研二发的论文,秋招用上了!
自动驾驶之心· 2025-11-24 08:03
文章核心观点 - 当前秋招季背景下,硕士生面临就业与申博双重压力,高质量科研成果成为关键竞争力 [1] - 针对研究生在论文写作中遇到的选题、框架、论证等困境,公司提供专业论文辅导服务以提升科研产出能力 [1] - 公司通过系统化辅导流程与顶尖学术资源,助力学员在3-6个月内完成高质量论文并实现高命中率 [2][4][5] 服务优势与资源 - 公司拥有国内最顶尖的学术资源,深耕自动驾驶、具身智能、机器人等交叉学科领域 [4] - 导师团队规模超过300人,均来自全球QS排名前100高校,具备顶会/子刊等高水平论文发表经验 [5] - 近3年累计辅导学员超400名,论文中稿率达到96%,体现高效交付能力 [5] - 提供个性化匹配系统,根据学员研究方向、目标期刊等维度从300+导师中筛选3-5位最优人选 [18] 辅导流程与周期 - 标准辅导周期为12周,涵盖选题、文献综述、实验设计、投稿全流程,具体安排为:第1周确定3个备选课题,第2-3周完成文献综述,第4-6周进行实验与数据收集,第7-8周完成初稿,第9-10周修改润色,第11-12周选刊投稿 [4] - 针对零基础学员提供基础课程,通过文献带读与系统跟进,可在6个月内完成小论文产出 [18] - 采用1v1在线授课模式,配套班主任全程督学、微信群答疑、录播回看等服务体系 [12][15][17] 目标用户群体 - 主要面向计算机专业硕博生,尤其适合导师放养、需提升科研思维与论文创新能力的群体 [9][10] - 覆盖有科研需求、职称晋升、人工智能领域从业者及考研申博留学者等多元化人群 [10] - 辅导成果可延伸至职业发展,优秀学员可获得名校推荐信或内推至阿里达摩院、华为诺亚方舟等企业研发岗 [19]
认知驱动下的小米智驾,从端到端、世界模型再到VLA......
自动驾驶之心· 2025-11-24 08:03
小米汽车智能驾驶技术发展 - 智能驾驶能力发展遵循三个阶段:从1.0规则驱动到2.0数据驱动再到3.0认知驱动[7] - 技术发展路线为:2024年3月高精地图版本高速NOA → 2024年5月城区NOA → 2024年10月轻图和无图版本 → 2025年2月300万clips端到端版本 → 2025年7月1000万clips版本 → 近期世界模型版本[7] - 在安全、舒适和效率三个维度上,安全永远是第一位[4] - 泊车功能渗透率最高且用户使用最多,城区智驾投入最大且提升空间最大[8] - 2024年11月21日广州车展发布Xiaomi HAD增强版,将通过OTA冬季大版本Xiaomi HyperOS 1.11系列推送给用户[8] 世界模型技术特性 - 世界模型三大核心特性:生成的多样性(重建真实性+快速新场景生成+场景编辑)、多模态输入输出(文字/视频输入+视觉/LiDAR重建)、交互能力(闭环影响下一时刻自车行为)[9] - 世界模型更偏云端应用,通过数据生成、闭环仿真和强化学习提升模型性能,不直接参与车端Action输出[10] - 1.11版本引入世界模型和强化学习,主要解决极端corner case场景,采用重建+生成结合方式[8] VLA与端到端技术路线 - VLA(视觉语言动作模型)是认知驱动核心,为下一阶段量产目标,并非端到端的升级[7] - 端到端本质是模仿学习,VLA直接将大模型能力赋予自动驾驶,世界模型类似端到端plus[13] - VLA可与世界模型融合,学习人类高层次知识(交通规则/价值观)[13] - 小米大模型发展路线:LLM预训练 → VLM预训练 → 具身预训练 → 自驾VLA,已推出MiMo、MiMo-vl和MiMo-Embodied[13] - VLA的无损传递是相比端到端+VLM的最大提升[13] 自动驾驶技术社区资源 - 自动驾驶之心知识星球涵盖40+技术方向,包括VLA学习路线、端到端自动驾驶、世界模型等[16][27] - 社区成员来自300家机构与自驾公司,包括蔚小理、地平线、华为等头部企业[26] - 提供近40+开源项目、近60+数据集、行业主流仿真平台及各类技术学习路线[27] - 社区内部举办超过100场专业技术直播,邀请学术界和工业界大佬分享最新研究成果[99]
在地平线搞自动驾驶的这三年
自动驾驶之心· 2025-11-24 08:03
文章核心观点 - 文章系统回顾了公司在自动驾驶领域的一系列核心技术研究,这些研究构成了一个从感知到规划、再到仿真评测和基础模型的完整技术链路 [2][4][5] - 技术路径从Sparse4D系列融合感知出发,逐步拓展至SparseDrive端到端运动规划,并针对长期迭代需求开发了UniMM交通流仿真和DriveCamSim传感器仿真,最终探索了智驾基础大模型LATR [4][5][30] - 认为端到端模型是行业明确方向,但未来性能提升高度依赖于高效、准确的云端评测系统,而非完全依赖实车测试 [22][30][31] 3D融合感知(Sparse4D系列) - Sparse4D系列采用稀疏query加内外参投影采样的方式,直接从多视角图像特征得到融合感知结果,理论计算复杂度远小于BEV方案 [6][7] - Sparse4D v1核心是deformable aggregation算子,实现了纯稀疏范式的融合感知 [7] - Sparse4D v2将时序融合方式改为recurrent形式,时序复杂度从O(T)降低至O(1),并优化了算子实现,提升了训练推理速度和模型性能 [9] - Sparse4D v3通过temporal denoising、decouple attention等技术提升性能,并以简洁方式实现了联合检测与跟踪,在nuScenes camera-only detection和tracking榜单位居第一 [11] 端到端运动规划(SparseDrive) - SparseDrive在Sparse4D基础上,增加了online mapping任务并设计了运动规划器,实现了检测、跟踪、建图、预测和规划五个任务的端到端处理 [13][15] - 采用稀疏feature作为planner输入,通过大量负样本query覆盖所有可视范围,以应对非白名单物体的避障问题 [15] - 当前规划decoder结构较简单,且仅在nuScenes上进行开环评测,闭环性能有待通过仿真器进一步优化 [15] 轨迹预测与交通流仿真(EDA & UniMM) - EDA提出了动态更新的anchor概念,并采用NMS策略进行匹配,能有效建模轨迹预测的多峰分布,且可与多数预测模型即插即用 [16][17] - 轨迹预测是连接感知和决策的中间件,但其应用受感知噪声和下游使用复杂性限制 [19] - UniMM将交通流仿真的主流模型Continuous Mixture Models和GPT-Like Discrete Models进行了统一,并提出了通用算法框架 [20] - 交通流仿真通过每一步重新采样的方式绕开直接建模多车联合概率,比联合轨迹预测更能反映算法真实性能 [19][20] 传感器仿真(DriveCamSim) - DriveCamSim旨在构建高度可控的传感器仿真系统,通过显式投影约束3D-2D和时序一致性,解耦了时间和空间概念 [23][24] - 模型可生成任意帧率、任意相机内外参、任意相机数量下的图像,适应的condition包括3D bounding box、地图、自车pose等 [24] - 相比于基于3DGS的重建方案或完全依赖Attention的生成方案,该方法在可控性和一致性上具有显著优势 [23][24] 智驾基础模型(LATR) - LATR目标是通过海量数据无监督训练和大参数量,构建能理解智驾场景语义、空间和时空关系的基础模型 [26] - 采用Mask Image Modeling进行预训练,并通过精心设计的masking策略加大补全难度以提升训练效果 [26] - 设计了decoder-only的统一架构,将7个任务融合到同一框架中,新增任务仅需增加一个MLP,最大程度复用预训练参数,效果达到与SparseDrive相当的水平 [27]
端到端量产这件「小事」,做过的人才知道有多痛
自动驾驶之心· 2025-11-24 08:03
行业人才供需现状 - 端到端技术是当前汽车行业量产的核心关键词,成为各家车企的重点招聘岗位 [1] - 市场上真正的端到端量产人才极为稀缺,该岗位要求具备从模型优化、场景优化、数据优化到下游规划兜底的全栈能力 [1] - 行业出现人才供需失衡现象:一方面求职者面临巨大就业压力,另一方面企业难以招到合适人才 [1] 技术挑战与课程设计背景 - 端到端技术在工业界量产仍需攻克诸多难题,包括导航信息的引入、强化学习调优、轨迹的建模及优化等 [3] - 为应对行业实际需求,专门设计了为期三个月的端到端量产进阶课程,聚焦从实战到落地的全过程 [3] 课程核心内容体系 - 课程涵盖核心算法包括:一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [5] - 第一章重点介绍感知模型一体化架构和规控learning化方案,这是各大公司的核心必备技能 [10] - 第二章深入讲解两段式端到端算法框架,包括建模方式、信息传递机制以及PLUTO算法实战 [11] - 第三章分析一段式端到端框架,探讨基于VLA和diffusion等方法,并通过VAD系列进行深入掌握 [12] - 第四章专门研究导航信息在量产中的应用,包括地图格式、编码与嵌入方式 [13] - 第五章从模仿学习过渡到强化学习,重点介绍RL算法及其训练策略以解决corner-case场景泛化问题 [14] - 第六章进行nn planner项目实战,结合模仿学习与强化学习算法 [15] - 第七章讲解量产兜底方案,包括轨迹平滑优化算法和多模态轨迹打分搜索算法 [16] - 第八章分享实际量产经验,从数据、模型、场景、规则等多视角剖析问题解决策略 [17] 课程实施与招生信息 - 课程采用离线视频教学结合VIP群答疑模式,包含三次线上答疑,总时长三个月 [20] - 课程从11月30日开始按周解锁章节,具体安排为:11月30日第一章、12月7日第二章、12月14日第三章、12月21日第四章、12月30日、1月15日、2月10日、2月24日均为第五章 [20] - 课程仅限35个招生名额,采取小班授课模式 [5][23]
简历直推 | 驭势科技招聘规划算法工程师!
自动驾驶之心· 2025-11-24 08:03
行业技术趋势 - 视觉语言动作模型成为自动驾驶行业重要发展方向 小鹏汽车已官宣VLA2 0版本[14] - 学术界与工业界存在世界模型和VLA技术路线之争 反映出技术路径尚处探索阶段[14] - 3D高斯泼溅技术在动态场景重建领域获得应用 香港中文大学联合滴滴提出UniSplat方法实现高效驾驶场景重建[14] - 端到端自动驾驶 大模型 强化学习等前沿算法已完成多项目预测和量产交付[13] 人才招聘需求 - 驭势科技招聘规划算法工程师 工作地点北京房山 要求研发复杂场景无人驾驶轨迹规划算法[3][4] - 岗位任职条件包括熟悉混合A* Lattice QP MPC等路径规划方法 了解车辆运动学动力学建模[7] - 优先考虑学历背景优秀或具智能驾驶大厂背景 有优化问题建模求解研究经历者[7] - 要求具备Linux系统下C/C++编程经验 机器人或无人驾驶规划项目经验[7] 专业社区动态 - 自动驾驶之心知识星球举办多期星友面对面活动 嘉宾来自香港高校博士 头部科技公司研发人员[13] - 社区讨论内容涵盖BEV感知 VLA 多模态RAG 3D目标检测与3DGS结合等前沿技术话题[13] - 圆桌讨论聚焦FSD v14技术分析 自动驾驶十年技术跃迁与未来路线等行业核心议题[13] - 社区提供技术资料共享 包括3DGS相关开源项目DriveStudio等资源[13]
港科广LiSTAR:自动驾驶4D LiDAR世界模型!
自动驾驶之心· 2025-11-23 10:04
研究背景与挑战 - 4D LiDAR数据的高保真、可控合成是构建可扩展自动驾驶仿真环境的核心需求[2] - 任务面临三大固有挑战:LiDAR的球形采样几何与传统笛卡尔网格不兼容导致量化失真和结构扭曲[2];点云的时间稀疏性导致动态场景时间连贯性难以维持,常出现表面闪烁或目标对齐不一致[8];现有方法依赖2D BEV布局作为条件输入,扁平化3D空间信息,无法精准控制3D场景结构和目标操纵[8] - 现有LiDAR生成方法受限于笛卡尔体素化的几何失真、时间连贯性不足和可控性薄弱等问题,难以满足自动驾驶仿真对真实性和精准性的要求[4] 核心创新设计 - 提出混合圆柱-球面坐标体素化,通过固定角分辨率的离散化保留所有距离下的几何细节,避免笛卡尔网格的稀疏性和量化误差,实现紧凑高效的4D数据编码[9] - 设计射线中心时空注意力模块,包含空间射线中心注意力和循环移位时间因果注意力两个核心组件,专门用于建模LiDAR序列的时空依赖[10][14] - 提出MaskSTART可控生成框架,通过4D点云对齐体素布局作为条件输入和迭代掩码生成机制,实现高效、高分辨率的布局引导生成,支持复杂场景结构的精细操控[12] 技术细节拆解 - HCS-based 4D VQ-VAE作为框架基础实现4D LiDAR序列的离散表征学习,编码器通过体素合并和START块提取时空特征,解码器从量化token恢复特征并重建点云[13][15] - 空间射线中心注意力将特征沿射线维度展开,通过自注意力聚合所有射线的全局上下文,精准捕捉视线方向上的遮挡关系和空间关联[14] - 循环移位时间因果注意力解决球形坐标展开后的方位角边界不连续性问题,通过严格的时间因果约束确保预测仅依赖历史和当前信息,维持动态场景的时间连贯性[14][16] 实验验证与性能表现 - 重建任务相较于OpenDWM基线,IoU相对提升32%至0.583,MMD降低60%至0.061,Chamfer距离减少41%至0.017[21][22] - 预测任务在1秒未来预测中Chamfer距离降低17%,L1中位数误差减少50%,在2秒长时域预测中仍能保持静态背景和动态目标的清晰结构[25] - 生成任务MMD大幅降低76%至9.94,不同距离范围的Chamfer距离均减少50%以上,生成的点云分布与真实数据高度一致且能严格遵循4D布局约束[28][29] 消融实验验证 - 坐标系统对比显示HCS显著优于笛卡尔和极坐标,IoU比极坐标提升16%至0.554,验证其对LiDAR几何特性的适配优势[30] - START模块有效性验证显示SRA单独使用可将IoU从0.503提升至0.554,加入CSTA后进一步优化至0.583,证明空间射线注意力和时空因果注意力的协同价值[30][31]
自动驾驶之心企业服务与咨询正式推出!
自动驾驶之心· 2025-11-23 10:04
公司业务发展 - 公司创业前两年专注C端市场,为自动驾驶与具身智能领域研发近50门课程 [1] - 公司今年初始收到大量企业业务需求,正式推出企业服务 [1] - 公司已积累近3年行业咨询与培训经验,全平台粉丝近40万 [1] 企业服务内容 - 企业服务包括品牌宣传、产业咨询、技术培训、团队升级 [5] - 服务旨在助力技术路线升级、团队人员升级并提供决策参考 [1] 行业合作与影响 - 公司已与国内多个高校、职业院校、Tier1、主机厂、具身机器人公司建立企业合作 [2] - 公司期望触达更多需要升级的企业以推动领域进步 [2]
大模型技术学习过程梳理:Agent、RAG、通用大模型等......
自动驾驶之心· 2025-11-23 10:04
社区定位与目标用户 - 社区旨在为大模型技术领域的学习者提供交流平台,解决其在学术、应用和工程上遇到的问题 [5] - 目标用户包括从刚入门的研究生到已有基础希望进一步提升的学习者,社区内容设计可帮助小白快速入门,并支持进阶者系统性学习 [2][6] - 社区已构建包含技术路线分享、直播、问答、求职、赛事等多版块的闭环生态,致力于培养行业人才并提供展示机会 [3] 社区资源与合作伙伴 - 社区嘉宾团队正在快速扩张,已邀请来自上海交通大学、清华大学、北京大学、上海人工智能实验室、香港科技大学、香港大学等顶尖高校及科研机构的专家 [5][67] - 工业界合作伙伴涵盖阿里通义千问、美团LongCat、深度求索DeepSeek、字节豆包、百度文心一言、月之暗面Kimi等头部公司 [5][67] - 社区内部已汇聚40多位学术界和工业界专家,未来计划打造为大模型前沿技术聚集地 [67] 核心技术路线覆盖 - 社区提供全面的大模型全栈学习路线图,核心领域包括RAG(检索增强生成)、AI Agent和多模态大模型 [5][6][12] - RAG技术路线细分为Graph RAG、Knowledge-Oriented RAG、多模态RAG、Reasoning RAG等子领域,并提供BenchMark、综述及开源仓库等资源 [13][19][21][22][24][26] - AI Agent技术路线涵盖前沿综述、Agent评测、强化学习、多模态Agent、Agent通讯、基座Agent汇总、自进化Agent及Multi-Agent等方向 [28][30][33][35][37][39][40][42][44] 多模态与模型优化技术 - 多模态大模型训练内容包含多模态大模型(MLLM)、视觉语言模型(VLM)、大模型微调、强化学习与RLHF、MoE(混合专家模型)等关键技术点 [46][49][51][52][53][54] - 模型部署方面提供大模型量化、推理及部署的详细技术路线,满足学习者部署自有模型的需求 [60][61][62][64] - 扩展技术领域包括VLM的提示适配器学习、LLM在3D世界中的应用以及科学大语言模型学习路线图 [55][56][58] 社区服务与未来规划 - 社区福利包括第一时间掌握学术进展与工业应用、与行业专家交流工作求职问题、获得岗位推荐及产业投资与项目对接机会 [10] - 未来计划通过不定期邀请国内外顶尖学术界和工业界专家进行直播分享,并允许内容反复观看 [66] - 社区将持续分享独家岗位招聘信息,赋能成员职业发展 [67]