Trajectory Planning
搜索文档
DiffusionDriveV2核心代码解析
自动驾驶之心· 2025-12-22 11:23
DiffusionDriveV2模型架构 - 整体架构基于截断扩散模型,并引入强化学习约束,用于端到端自动驾驶 [3] - 环境编码部分融合了BEV特征和自车状态特征,BEV特征通过骨干网络从相机和激光雷达特征中提取并下采样,自车状态通过独立编码器处理,两者拼接后加入位置嵌入 [5][6] - 解码部分采用类似DETR的查询机制,将查询输出分割为轨迹查询和智能体查询,用于后续规划 [7] 轨迹规划模块 - 利用多尺度BEV特征进行轨迹规划,通过上采样和拼接操作融合不同层级的特征,然后进行投影变换 [8] - 规划过程以预定义的轨迹锚点为基础,锚点通过K-Means聚类从真值轨迹中获取,在训练时对锚点进行归一化、加噪和反归一化处理 [9][10][11] - 将加噪后的轨迹锚点通过正弦位置编码转换为查询向量,并与时间编码、BEV特征、智能体查询、自车查询进行交叉注意力计算,最终预测轨迹分类分数和去噪后的轨迹偏移量 [12][13][14][15][16][17][18][19][20][21] - 最终轨迹由预测的轨迹偏移量与加噪的原始轨迹锚点相加得到,并对航向角进行限制 [22] 模态选择与轨迹生成 - 采用模态选择器从多个候选轨迹中选取最终输出 [23] - 在推理(反向去噪)阶段,对规划锚点进行归一化和加噪,然后通过多步迭代的去噪过程生成轨迹,每一步都使用扩散模型解码器预测轨迹并利用调度器进行去噪更新 [25][26][27] - 使用PDM评分器对生成的所有模态轨迹及真值轨迹进行多维度综合评估,评估维度包括安全性、舒适性、规则遵守、进度和物理可行性,并计算加权总分 [27] 强化学习优化与损失函数 - 提出锚点内GRPO方法,在每个锚点对应的轨迹组内执行组相对策略优化,通过计算组内相对优势来更新策略,避免模式崩溃 [27][28] - 对强化学习优势函数进行改进,将所有负优势截断为0,并对发生碰撞的轨迹施加-1的强惩罚,同时引入时间折扣因子,降低未来时间步的奖励权重 [29][30][31][32] - 在扩散过程中创新性地使用尺度自适应的乘性噪声(纵向和横向)替代传统的加性噪声,以保持轨迹的平滑性和结构完整性,避免产生锯齿状路径 [33][35] - 总损失函数结合了强化学习损失和模仿学习损失,以防止过拟合并保持通用驾驶能力 [39] - 训练监督包含真值匹配,将最接近真值的锚点轨迹作为正样本,其余作为负样本,总损失由轨迹恢复损失和分类置信度损失两部分构成 [40][41][42][43]
自动驾驶论文速递!VLA、世界模型、强化学习、轨迹规划等......
自动驾驶之心· 2025-10-18 12:00
DriveVLA-W0:世界模型增强自动驾驶VLA - 提出DriveVLA-W0训练范式,通过世界建模预测未来图像提供密集自监督信号,解决VLA模型“监督不足”瓶颈,增强泛化能力与数据扩展性[2][6] - 在NAVSIM v1/v2基准上分别达到93.0 PDMS与86.1 EPDMS,推理延迟降至基线VLA的63.1%[2][6] - 设计轻量级MoE动作专家,将推理延迟降至基线VLA的63.1%[6] - 在70M帧大规模内部数据集上验证数据缩放律放大效应,VQ模型ADE降低28.8%,ViT模型碰撞率降低15.9%[6][9] - 在NAVSIM v1基准上PDMS达93.0%,单摄像头优于多传感器竞品[6][9] CoIRL-AD:协同竞争式模仿强化学习框架 - 提出竞争性双策略框架CoIRL-AD,将模仿学习与强化学习结合在潜在世界模型中[13][15] - 在nuScenes数据集上碰撞率降低18%,在Navsim基准上PDMS得分达88.2[13][15] - 利用潜在世界模型实现基于“想象”的模拟,将强化学习融入端到端自动驾驶框架,无需依赖外部模拟器[15] - 设计基于竞争的学习机制,实现IL与RL的联合训练与结构化互动,避免梯度冲突[15] PAGS:优先级自适应高斯泼溅动态场景重建 - 提出Priority-Adaptive Gaussian Splatting框架,通过语义引导剪枝与正则化实现高质量实时3D重建[23][27] - 在Waymo数据集上达到PSNR 34.63,SSIM 0.933,渲染速度353 FPS,训练时间仅1小时22分钟[23][27][30] - 基于静态语义分数和动态梯度贡献分数的混合重要性度量,简化非关键场景元素,保留安全关键目标细粒度细节[27] - 模型尺寸530 MB,显存占用6.1 GB,优于EmerNeRF、StreetGS等主流方法[27][30] Flow Planner:流匹配自动驾驶规划 - 基于流匹配和交互行为建模技术,在nuPlan Val14基准测试中达到90.43分,是首个无需先验知识突破90分的学习型方法[34][38][40] - 在interPlan基准测试中比Diffusion Planner提升8.92分[34][40] - 提出细粒度轨迹分词技术,将轨迹分解为含重叠区域片段,解决全轨迹建模复杂度高问题[35][40] - 构建交互增强的时空融合架构,通过自适应层归一化将异质特征投影到统一latent空间[40] CymbaDiff:草图驱动3D语义场景生成 - 提出CymbaDiff模型,结合圆柱Mamba结构与空间扩散机制,实现基于草图与卫星图像的3D语义城市场景生成[44][47] - 在Sketch-based SemanticKITTI上FID达40.74,比现有方法提升约16分[44][47] - 构建首个面向3D户外语义场景生成的大规模草图驱动基准数据集SketchSem3D[47] - 设计圆柱曼巴扩散模型,显式编码圆柱连续性与垂直层级,提升空间连贯性[47] DriveCritic:VLM自动驾驶评估框架 - 提出DriveCritic框架,利用视觉语言模型进行上下文感知的自动驾驶评估,在人类偏好对齐任务中达到76.0%准确率[55][57][58] - 揭示现有规则化指标缺乏上下文感知能力与人类对齐性的缺陷[57] - 构建DriveCritic数据集,从NAVSIM采样5730个轨迹对,标注pairwise人类偏好[57] - 采用监督微调加强化学习微调两阶段训练,使模型具备跨视觉符号上下文的轨迹判优能力[57][58]
自动驾驶论文速递 | 端到端、分割、轨迹规划、仿真等~
自动驾驶之心· 2025-08-09 21:26
自动驾驶技术研究进展 - 斯坦福大学和微软提出DRIVE框架 实现0%软约束违反率 在inD、highD和RoundD数据集上验证了轨迹平滑性和泛化能力 [2][6] - DRIVE框架通过指数族似然建模学习概率性软约束 克服传统方法依赖固定约束形式的局限 [6] - 北京交通大学与海南大学开发混合学习-优化轨迹规划框架 高速公路场景成功率97% 实时规划性能54ms [11][12] - 美团与中山大学团队提出RoboTron-Sim技术 在nuScenes测试中实现困难场景碰撞率降低51.3% 轨迹精度提升51.5% [18][19][23] - 安徽大学团队提出SAV框架 在VehicleSeg10K数据集上达到81.23% mIoU 超越之前最佳方法4.33% [34][35][40] 算法创新与框架设计 - DRIVE框架将学习到的约束分布嵌入凸优化规划模块 支持数据驱动的约束泛化与系统性可行性验证 [6] - 混合学习-优化框架采用GNN预测速度剖面 MIQP进行路径优化 引入车辆几何离散化线性近似降低计算复杂度 [12] - RoboTron-Sim提出场景感知提示工程和几何感知图像到自车编码器 解耦传感器特定参数 [23] - SAV框架整合车辆部件知识图谱和视觉上下文样本增强策略 构建包含11,665张图像的数据集 [40] 实验性能表现 - DRIVE框架在轨迹平滑性和泛化能力上表现优异 软约束违反率为0% [6] - 混合学习-优化框架在复杂紧急场景中成功率超97% 平均规划时间54ms [12][13] - RoboTron-Sim在3秒预测时域L2距离平均0.23米 碰撞率0.26% 显著优于对比模型 [28] - SAV框架在车辆部件分割任务上mIoU达81.23% 建立包含13个部件类别的基准数据集 [34][40] 行业资源与社区建设 - 自动驾驶之心社区梳理40+技术路线 涵盖感知、规划、控制等方向 [45][46] - 社区提供自动驾驶数据集汇总 包含近百个数据集和标注工具 [46] - 开设感知融合、多传感器标定、SLAM等系列视频教程 与多家公司建立内推机制 [47] - 整理自动驾驶领域企业介绍、高校团队、会议信息等资源 [46]