自动驾驶数据集 - KITTI数据集是自动驾驶领域最经典的基准数据集之一，包含立体视觉、光流、视觉里程计、3D目标检测和跟踪等多种感知任务的标注，覆盖城市、高速和乡村场景 [3][6] - nuScenes数据集包含1000个连续驾驶场景，配备6个摄像头、5个毫米波雷达、1个顶置LiDAR，提供约140万张高分辨率相机图像和39万帧LiDAR扫描，标注了23个对象类别的1.4M个3D边界框 [5][7] - Waymo Open Dataset是全球最大的自动驾驶开放数据资源之一，包含2030个20秒场景的高分辨率相机和LiDAR数据，以及103,354个场景的车辆轨迹及3D地图信息 [10][12] - PathTrack数据集包含720个序列中的15,000多个人的轨迹，专注于人员跟踪任务 [13][14] - ApolloScape数据集规模远超同类数据集，包含数十万帧高分辨率的逐像素语义分割标注图像，定义了26个语义类别 [17][19] 自动驾驶技术社区 - 自动驾驶之心知识星球是国内最大的自动驾驶学习社区，创办于2022年7月，已聚集近4000人，包含100+行业专家 [32] - 社区覆盖30+自动驾驶技术学习路线，包括端到端自动驾驶、世界模型、视觉大语言模型、BEV感知等几乎所有子方向 [32][36] - 每周举办1-2场视频直播，每年计划100场左右，邀请CVPR、ICCV等顶会作者及顶尖公司团队分享 [38][39] - 社区成员来自地平线、蔚来、小鹏、理想等知名公司，以及清华大学、上海交大、香港科大等国内外高校 [134] 前沿技术方向 - 2025年自动驾驶技术基调已确定为大模型赋能下的端到端2.0 - VLA（Vision-Language-Action） [26] - 视觉大语言模型（VLM）在自动驾驶中的应用包括作为教师模型训练端到端系统、直接作为规划器等 [31][122] - 扩散模型与自动驾驶结合的前沿方向包括轨迹联合预测、3DGS生成技术等 [26][63] - 世界模型在自动驾驶中的应用包括场景理解、未来场景演化预测等 [59][60] 求职与职业发展 - 自动驾驶求职方向包括TensorRT模型部署、毫米波雷达视觉融合、车道线检测、规划控制等细分领域 [89] - 对于3D目标检测方向，建议从BEV感知开始学习，关注DETR3D、BEVFormer等算法 [115] - SLAM领域从业者可考虑向闭环仿真3DGS重建方向转型，规控方向建议学习基于模型的planner算法 [118] - 多模态3D检测领域相对成熟，建议关注端到端、大模型、数据闭环等新兴方向 [121]

π₀模型结构 - 核心架构基于预训练视觉语言模型(VLM)和Flow Matching技术，包含VLM backbone、动作专家和跨具身训练组件[3] - 整合7种机器人、68项任务、超10,000小时数据，通过权重调整处理不同机器人的动作空间差异[3] - 训练流程基于PaliGemma VLM，融合多模态输入(图像编码器、语言编码器、proprioceptive state编码器)[3] - 独立子网络(3亿参数)负责将VLM输出转换为连续动作，采用流匹配技术生成高频率动作序列(最高50Hz)[3] π₀优势与功能 - 零样本直接执行任务，通过语言提示控制机器人无需额外微调[4] - 支持复杂任务多阶段微调，如叠衣服分解为多个步骤[4] - 语言指令跟随与高层策略集成，提升语义理解与任务规划能力[4] - 高频率精细操作(50Hz)适用于折叠衣物、组装盒子等任务[4] - 单模型适配多种机器人形态，降低部署成本[4] π₀性能分析 - 开箱即用性能：在餐桌清理等任务中指令跟随准确率比π₀-small高20%-30%[4] - 衬衫折叠成功率接近100%，远超OpenVLA[6] - 复杂清理任务正确分类物体数量比Octo高40%[6] - 预训练+微调流程实现60%-80%任务完成度，显著优于从头训练[7] π0.5模型结构 - 采用双阶段训练框架和分层架构，基于Transformer的视觉-语言-动作(VLA)模型[7][9] - 分层推理机制：高级语义子任务预测+低级动作生成[9] - 动作表示融合离散标记(FAST tokenizer)和连续表示(流匹配)[9] - 预训练阶段使用400小时移动机器人数据+非移动机器人数据+网页多模态数据[9] π0.5优势与功能 - 异构数据驱动泛化，实现从未见场景中的任务执行[13] - 长时程任务处理能力，支持10分钟以上连续操作[13] - 零样本语义理解，基于网页数据预训练理解未见过物体[13] - 在"盘子入水槽"等任务中成功率比π0高25%-40%[12] - 离散-连续动作混合训练比纯扩散模型效率高3倍[12] π0.5性能分析 - 真实家庭环境中多阶段任务成功率达60%-88%，任务时长10-15分钟[23] - 随训练环境增加性能持续提升，"整理床铺"成功率从30%升至80%[24] - 跨实体数据移除后任务性能下降20%-30%[24] - 网页数据对未知物体泛化至关重要，移除后成功率从60%降至30%[24] A0模型结构 - 采用分层架构设计：高层空间Affordance理解+低层动作执行[21] - 核心组件包括Position Offset Attention和Spatial Information Aggregation Layer[22][25] - 预训练与微调策略：100万接触点数据集预训练+标注轨迹数据微调[25] A0优势与功能 - 跨平台泛化能力，可在多种机器人平台无缝部署[26] - 高效空间推理，避免密集空间表示的高计算成本[26] - 数据利用效率高，少量任务特定数据即可适应新场景[26] - 可完成擦黑板、物体放置、开抽屉等需要空间推理的任务[26] A0性能分析 - Franka机器人平均成功率62.5%，开抽屉任务成功率75%[27] - Kinova机器人平均成功率53.75%，轨迹跟踪任务比基线高20%[27] - 擦黑板任务成功率比MOKA高15%-20%，比ReKep高约20%[27] - 在Kinova平台擦黑板任务中成功率50%，远超RDT-1B(10%)和π₀(35%)[27]

研究背景与问题提出 - 自动驾驶技术发展中，Vision-Language-Action（VLA）模型凭借多模态处理能力带来新机遇，但现有基准数据集在场景多样性、动作标注可靠性和评估协议一致性方面存在不足，制约了VLA模型的发展和应用 [2] - 现有基准数据集主要问题包括：场景多样性不足（来源单一，忽略复杂场景如道路合并、行人交互等）、动作标注不真实（缺乏实时驾驶意图反映）、评估框架不完善（未体现目标驱动决策模式） [3] DriveAction基准的核心创新 - 提出首个专为VLA模型设计的动作驱动基准，三大创新包括：用户贡献的广泛覆盖驾驶场景、与人类驾驶偏好一致的真实标注、以动作为根的树状结构评估框架 [3] - 数据集覆盖中国148个城市及所有量产车型记录，涵盖7大关键场景类别（如匝道合并、导航变道、绕行弱势道路使用者等），每个场景关联多种细粒度动作 [5] - 动作标签直接来源于用户实时驾驶操作，离散化为高级动作并经过多轮人工验证，确保可靠性和有效性 [6] 实验设计与关键发现 - 评估12个VLM模型，分为非推理模型（如GPT-4o、Claude 3.5 Sonnet）和推理模型（如o1、Gemini 2.5 Pro），通过VLMEvalKit实现性能测量 [11] - 全流程模式（V-L-A）准确率最高，无信息模式（A）最低：移除视觉输入准确率下降3.3%，移除语言输入下降4.1%，两者均移除下降8.0% [14] - 推理模型在复杂场景下优于非推理模型（如o1和o3在V-L-A模式下准确率超92%），但无信息模式下部分非推理模型表现更优 [14] - 特定任务评估显示：模型在动态/静态障碍物任务表现较好，导航任务得分较低（车道定位能力有限），交通灯任务准确率持续偏低 [16][17] DriveAction的意义与价值 - 为学术界提供更全面、真实的评估工具，推动VLA模型研究发展，同时支持工业界识别模型瓶颈并优化系统 [20] - 通过促进学术界与工业界在一致评估标准下合作，加速自动驾驶技术向更安全、智能的方向发展 [20]

核心观点 - 高效混合架构设计结合MoE架构与Lightning Attention的模型MiniMax-M1，支持百万级上下文窗口（1M tokens），生成长度达80K tokens时FLOPs仅为传统注意力模型的25%[2] - 超越DAPO的算法CISPO通过剪裁重要性采样权重提升RL效率，相比DAPO实现2倍加速[2] - 可扩展上下文支持从40K到80K Token生成长度的扩展[2] 当前面临的挑战 - 计算精度偏移：训练与推理阶段的计算精度差异导致Token概率偏移，需将LM头部输出精度提升至FP32以对齐概率分布[4] - 长生成稳定性问题：长文本响应容易出现输出不稳定，被截断的问题[5] - 奖励模型不稳定：奖励模型对长文本的偏好可能误导RL训练，需要在线校准机制[5] 核心方法 - 混合注意力架构：采用I/O感知的线性注意力计算，通过分块计算和内存优化，将长序列复杂度降低，每7层Lightning Attention后插入1层Softmax Attention[8] - CISPO算法：通过重要性采样权重裁剪保留所有token梯度，避免PPO/DAPO对关键低概率Token的奖励得分偏低[9][10][11] - 分阶段RL数据混合：从规则验证任务逐步过渡到通用领域任务，避免灾难性遗忘[13] - 持续预训练与SFT优化：在7.5T token上扩展STEM、代码数据占比至70%，采用语义去重和分层上下文扩展（32K→1M token）[13] 性能表现 - AIME 2024准确率86.0%（开源模型第二），MMLU-Pro表现接近闭源模型Seed-Thinking-v1.5[14] - OpenAI-MRCR (128k)表现76.1，OpenAI-MRCR (1M)表现58.6[14] - TAU-bench (airline)表现60.0，TAU-bench (retail)表现67.8[14] 数据与训练 - 预训练增强：在7.5T token上扩展STEM、代码数据占比至70%[13] - 监督微调：注入长链式思考模式，数学/编程数据占SFT数据的60%[13] - 上下文长度渐进扩展：从40K分阶段扩展至80K，根据困惑度与生成长度分布调整窗口[13]

而自从端到端和大语言LLM横空出世以来，大规模无监督的预训练 + 高质量数据集做具体任务的微调， 可能也会成为量产感知算法下一阶段需要发力的方向。同时数 据的联合标注也是当下各家训练模型的实际刚需，以往分开标注的范式不再适合智能驾驶的算法发展需求。今天自动驾驶之心就和大家一起分享下4D数据的标注流 程： 最复杂的当属动态障碍物的自动标注，涉及四个大的模块： 而为了尽可能的提升3D检测的性能，业内使用最多的还是点云3D目标检测或者LV融合的方法： 得到离线单帧的3D检测结果后，需要利用跟踪把多帧结果串联起来，但当下跟踪也面临诸多的实际问题： 离线3D目标检测； 离线跟踪； 后处理优化； 传感器遮挡优化； 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 千万级4D标注方案应该怎么做？ 智能驾驶算法的开发已经到了深水区，各家都投入了大量的精力去做量产落地。其中一块最关键的就是如何高效的完成4D数据标注。无论是3D动态目标、OCC还是静 态标注。 相比于车端的感知算法，自动标注系统更像是一个不同模块组成的系统， 充分利用离线的算力和时序信息，才能得到更好的感知结果 ...

商汤绝影人事变动 - 商汤绝影世界模型研发负责人离职，该负责人曾负责云端技术体系建设和生成式智驾方案R-UniAD研发 [2] - 传闻该离职负责人可能选择创业 [3] 中阶市场动态 - 商汤绝影已在广汽传祺量产交付基于J6M的中阶方案 [4] - 2025年中阶市场将迎来重大升级，从高速NOA升级为全域NOA [4] - 头部公司推出轻量版城区NOA方案，可适配100 TOPS算力芯片，并已向主机厂推广演示 [4] - 算法方案每年迭代升级，跟不上节奏的玩家可能被市场淘汰 [4] 高阶市场布局 - 2025年高阶市场重点是一段式端到端方案，主机厂招标普遍要求该技术 [5] - 商汤绝影UniAD一段式端到端方案已与东风汽车合作，目标2025年Q4量产交付 [5] - 商汤绝影过去两年高阶领域存在感较弱，当前需通过标杆项目证明实力 [6] - 2025年是关键窗口期，主机厂释放大量高阶车型项目，后续机会将向10万价位车型下沉 [6] 商汤绝影战略关键 - 一段式端到端方案的量产交付效果将决定公司能否在高阶市场站稳脚跟 [7] - 高阶业务表现将直接影响公司融资前景 [8]

基础模型在自动驾驶场景生成与分析中的应用 - 基础模型（Foundation Models）能够处理异构输入（如自然语言、传感器数据、高清地图和控制指令），实现对复杂驾驶场景的合成与解析 [2] - 文章提出了一个统一分类体系，涵盖大语言模型（LLMs）、视觉-语言模型（VLMs）、多模态大型语言模型（MLLMs）、扩散模型（DMs）和世界模型（WMs）在自动驾驶场景生成与分析中的应用 [2] - 传统场景生成方法存在多样性有限和难以生成真实高风险场景的问题，而基础模型可以解决这些挑战 [2] 语言模型在场景生成中的应用 - 使用GPT-4、Claude 3.5 Sonnet、Gemini 1.5 Pro等大语言模型生成安全关键场景 [9] - 采用CoT（Chain-of-Thought prompting）、ICL（In-Context Learning）、RAG（Retrieval-Augmented Generation）等技术 [9] - 在CARLA、MetaDrive、SUMO等仿真平台上测试生成的场景 [9] 视觉-语言模型在场景分析中的应用 - 使用BLIP2、InstructBLIP2、MiniGPT4等视觉-语言模型进行场景理解和视觉问答 [18] - 在nuScenes、Waymo Open等数据集上进行感知、预测和规划任务 [18] - 采用零样本学习、LoRA（Low-Rank Adaptation）等技术 [18] 扩散模型在场景生成中的应用 - 使用DDPM、DiT、LDM等扩散模型生成交通流和静态交通元素 [27] - 可以控制场景参数如速度、目标航点、交通密度等 [27] - 在nuScenes、Argoverse 2、WOMD等数据集上进行测试 [27] 世界模型在场景生成中的应用 - 使用GAIA-1、DriveDreamer等世界模型进行未来预测和场景生成 [33] - 采用自回归、扩散等架构 [33] - 在nuScenes、Waymo Open等数据集上进行训练和测试 [33] 数据集和仿真平台 - nuScenes、Waymo Open、DRAMA、HighD是最具影响力的数据集 [35] - CARLA、MetaDrive、LGSVL、SUMO是最常用的仿真平台 [36] - 这些资源为自动驾驶场景生成与分析研究提供了重要支持 [35][36]

三维高斯溅射技术发展 - 三维高斯溅射（3DGS）成为最理想的三维表示方法，因其能联合编码场景的几何、外观和理解属性[2] - 视觉-语言推理是三维场景理解最具前景的方向，将视觉/几何属性与语言概念连接[2] - 现有方法分为三类：基于梯度的单场景优化、免优化的特征聚合、泛化方法[3] 评估基准创新 - 提出SceneSplat-Bench基准，包含1060个场景和325个语义类别，首次在三维空间评估性能[3] - 现有评估存在三大局限：样本量少（仅9-21个场景）、依赖训练视点、二维评估为主[4] - 基准测试显示泛化方法SceneSplat在f-mIoU指标上最高达0.354（ScanNet20）和0.338（Matterport3D）[24] 数据集突破 - 发布SceneSplat-49K数据集，包含46K个3DGS场景，总高斯数达29.24B，覆盖室内外环境[9][10] - 数据集平均质量达27.8dB PSNR和0.90 SSIM，几何误差仅0.061米，存储量8.36TB[10][12] - 包含12K个带视觉语言嵌入的场景，采用动态加权机制融合全局/局部特征[19] 技术性能比较 - 泛化方法SceneSplat运行时仅0.24分钟/场景，显著优于优化方法（76-621分钟）[5][24] - 免优化方法在效率（4-5.6分钟）和准确率上均优于优化方法，如Gradient-Weighted 3DGS在ScanNet20达0.418 f-mIoU[5][24] - 数据规模扩大使ScanNet++性能提升69%（f-mIoU从0.168到0.284）[28] 跨领域应用 - 室内训练模型可迁移至室外场景，零样本性能达0.263 mIoU，但特定领域数据仍关键[29] - 城市尺度数据集HoliCity包含6,300个伦敦场景，覆盖20平方公里，支持室外评估[17][22] - 合成数据Aria ASE贡献25K程序化室内场景，采用鱼眼图像校正技术[16]

规模法则在自动驾驶中的应用 - 小鹏汽车在CVPR 2025论文中验证规模法则（Scaling Laws）在自动驾驶领域持续生效，核心发现是模型性能与参数规模、数据规模、计算量之间存在幂律关系 [4] - 在10亿（1B）、30亿、70亿直至720亿（72B）参数的VLA模型上验证了"参数规模越大模型能力越强"的规律 [6] - 确立了"海量高质量数据+大模型驱动"的自动驾驶能力跃升路径，VLA模型在VLM基础上增加了决策和行动能力 [6] 自动驾驶算力需求分级 - 从L2到L3级别算力需求呈指数级增长，L2级需80-300TOPS，L3级跃升至千TOPS级别 [8] - L3级需处理复杂城市道路场景，包括多样化交通参与者、动态环境条件等，需大规模神经网络实时推理 [8] - 小鹏提出2000TOPS+VLA+VLM作为L3级自动驾驶算力新标准 [6][8] VLA+VLM架构技术细节 - VLA架构以大语言模型为骨干，集成视觉理解、链式推理和动作生成能力 [10] - 视觉处理模块需数百TOPS算力处理多传感器数据融合 [10] - 语言理解模块在复杂交通场景语义理解时消耗大量计算资源 [10] - 动作规划模块涉及路径规划、行为预测等计算密集型任务 [10] 车载算力与数据中心算力对比 - 车载算力注重实时性与功耗平衡，需在有限空间和功耗下实现高效计算 [12] - 数据中心算力用于离线训练，能力是车载系统的数十至数百倍，可处理海量历史数据 [15] - 车载芯片如NVIDIA Orin、华为昇腾追求高能效比（TOPS/Watt） [12] 行业竞争格局与技术趋势 - 华为昇腾芯片系统算力达400TOPS，蔚来ET7搭载英伟达Orin平台（254TOPS） [17] - 英伟达下一代Thor芯片采用4nm工艺，基础版1000TOPS，增强版2000TOPS [20] - 小鹏G7采用三片自研图灵AI芯片，等效9颗英伟达Orin-X芯片 [20] - ADAS芯片市场份额：英伟达36%（年出货150万片）、特斯拉28%、华为11%、Mobileye 9%、地平线8% [20]

自动驾驶社区建设 - 目标在3年内打造万人规模的智能驾驶与具身智能社区，已吸引华为天才少年及多位行业专家加入 [2] - 构建了学术+产品+招聘的完整生态链，形成课程+硬件+问答的教研闭环体系 [2] - 社区内容涵盖最新技术动态、技术讨论、入门问答及行业求职分享，重点关注具身智能转型、自动驾驶技术趋势及大模型融合等前沿议题 [2] 技术发展方向 - 2025年技术基调确定为VLA（视觉语言行动）端到端2.0体系，涉及视觉大语言模型基座、扩散模型轨迹预测、3DGS闭环仿真等前沿技术栈 [6] - 技术迭代周期持续缩短，需专业社区持续跟踪学术界与工业界的技术演进 [10] - 重点研究方向包括BEV感知、Occupancy网络、世界模型、扩散模型等，其中视觉大语言模型在自动驾驶中的应用成为新热点 [11][55] 知识星球运营 - 国内最大自动驾驶技术社区，成员近4000人，汇集100+行业专家，总结30+技术学习路线 [11] - 提供四大核心板块：学术进展追踪、专家答疑、课程优惠及求职咨询，包含近5000份干货内容并每日更新 [14] - 每周组织1-2场顶会作者或企业团队直播，全年计划100场，聚焦VLA、大模型等前沿主题 [18][19] 数据集与模型 - 汇总主流自动驾驶数据集如nuScenes（20万帧多模态数据）、Waymo Open Dataset（12万场景）等，涵盖2D/3D检测、语义分割等任务 [31] - 视觉大语言模型预训练使用LAION-5B（50亿图文对）、CLIP（4亿图文对）等超大规模数据集 [26] - 扩散模型在3D视觉、视频生成领域形成完整技术体系，相关论文年增长率超过200% [43][44] 行业应用案例 - 智能交通领域应用语言引导车辆检索、视觉问答等技术，提升多模态交互能力 [33] - 自动驾驶系统集成VLM进行行人检测、开放词汇3D分割等任务，如VLPD模型通过自监督提升检测精度34% [34] - 规划控制领域采用GPT-Driver等大模型实现轨迹预测，DRIVEVLM系统将规划误差降低25% [35][36] 人才生态 - 社区成员来自地平线、蔚来、英伟达等头部企业及清华、ETH等顶尖院校，形成产学研协同网络 [114] - 求职板块覆盖TensorRT部署、多传感器标定等实战问题，整理BEV感知等方向高频面试题100+ [71][72] - 职业发展建议显示：传统3D检测岗位需求下降，端到端驾驶、数据闭环等方向人才缺口扩大 [101]