课程核心观点 - 自动驾驶技术正从模块化量产算法向端到端和视觉语言动作模型演进，掌握相关前沿技术对职业发展至关重要 [1] - 行业端到端和视觉语言动作模型岗位即将饱和，为从业者留下的窗口期已不多 [1] - 推出《端到端与视觉语言动作模型自动驾驶小班课》和《自动驾驶视觉语言动作模型和大模型实战课程》，旨在帮助学员快速高效入门 [1] 自动驾驶视觉语言动作模型与大模型实战课程 - 课程聚焦视觉语言动作模型领域，内容涵盖从视觉语言模型作为自动驾驶解释器到模块化、一体化及当前主流的推理增强视觉语言动作模型 [1] - 课程配套理论基础梳理，包括视觉、语言、动作三大模块、强化学习、扩散模型等，并设有大作业章节指导学员从零搭建自己的视觉语言动作模型及数据集 [1] - 由学术界专家带队，适合刚接触大模型和视觉语言动作模型的学员 [1] 端到端与视觉语言动作模型自动驾驶课程 - 课程聚焦端到端自动驾驶宏观领域，梳理一段式/两段式方向的重点算法和理论基础，详细讲解鸟瞰图感知、大语言模型、扩散模型和强化学习 [9] - 课程设计两大实战项目：基于扩散模型的Diffusion Planner和基于视觉语言动作模型的ORION算法 [9] - 由工业界专家带队，讲师为国内顶级主机厂算法专家，拥有端到端算法研发和产品量产交付经验 [9][11] 师资团队 - 讲师团队由学术界和工业界专家组成，包括清华大学硕士生、QS30高校博士等，在ICCV、IROS、EMNLP等顶级会议发表多篇论文 [6][8][11] - 团队拥有多模态感知、自动驾驶视觉语言动作模型、大模型Agent等前沿算法预研经验，并主持完成多项自动驾驶框架工具和产品量产 [6][8][11] - 一位讲师在GitHub上维护的自动驾驶与计算机视觉开源项目总Star数已超过2k [6] 目标学员与技术要求 - 学员需自备GPU，推荐算力在4090及以上 [12] - 要求具备一定的自动驾驶领域基础，熟悉基本模块，了解Transformer大模型、强化学习、鸟瞰图感知等技术概念 [13] - 需具备概率论、线性代数基础及Python和PyTorch编程能力 [13]

产品核心定位 - 产品定位为最强性价比手持实景三维激光扫描仪，旨在降低开发门槛，助力开发者快速掌握研发能力 [3][6] - 由同济大学刘春教授团队与西北工业大学产业化团队合作开发，基于多年科研和行业积累，并经过上百个项目验证 [11] - 核心价值在于以轻量化设计和多模态传感器融合算法，提供高效实用的三维解决方案，实现厘米级精度的三维场景实时重构 [3][12] 核心性能参数 - 扫描性能卓越，每秒可生成20万点云，最远测量距离达70米，相对精度优于3厘米，绝对精度优于5厘米 [3][24][31] - 支持超20万平方米的大场景扫描，水平视角360°全域覆盖，并支持彩色点云融合输出 [3][24][32] - 系统搭载Ubuntu 20.04操作系统，支持ROS，具备实时解算和实时预览能力，数据可导出为pcd、las、ply等多种通用格式 [24] 硬件配置与设计 - 采用高度集成的一体化设计，机身尺寸为14.2cm * 9.5cm * 45cm，含电池重量为1.9kg，小巧便携 [14][24] - 集成丰富的传感器资源，包括3D激光雷达、双广角相机、深度相机、9DOF IMU、RTK模块，并采用微秒级同步技术确保数据同步精度 [15][24][25][36] - 激光雷达采用25°倾斜角度安装的小倾角设计，可兼顾多个方位扫描，提升采集效率 [17][18] - 硬件配置包括Intel N5095四核处理器、16G内存、256G硬盘，并配备高带宽网口、双USB 3.0接口及Micro SD卡槽，扩展性强 [24][25] 软件功能与操作 - 软件系统支持三维点云地图动态构建、色彩融合和实时预览，操作简单直观，可一键启动执行扫描作业 [6][24][29] - 提供快速建图、彩色点云建图、相机程序、数据录制等多种软件功能，扫描结果导出即用，无需复杂部署 [6][45] - 推出3D高斯（3DGS）版本，支持离线渲染和在线渲染两种模式，实现高保真实景还原 [7][8][53] 应用场景 - 设备适用于各类复杂室内外场景，包括写字楼、停车场、工业园区、隧道、森林、矿场等，能够精准完成三维场景地图构建 [40][49] - 支持跨平台集成，可适配无人机、无人车、机械狗、人形机器人等多种负载平台，实现无人化作业 [47] - 在地理信息数据采集、城市规划、文物保护、施工工程等领域均有应用潜力 [55][57] 产品版本与定价 - 提供四个版本以满足不同需求：基础版（19800元）、深度相机版（23800元）、3DGS在线版（39800元，云服务续费5000元/月）、3DGS离线版（67800元） [60][61] - 购买可享受为期1年的售后服务，并可通过优惠码DSAA-5T9R-K2M8获取优惠 [62]

文章核心观点 - 提出一种名为DiffRefiner的全新两阶段轨迹预测框架，该框架融合了判别式轨迹提议与生成式扩散精炼，旨在解决端到端自动驾驶规划中的多模态挑战 [3][9] - 该框架通过基于Transformer的提议解码器生成粗粒度轨迹预测，再通过扩散精炼器进行迭代优化，显著提升了规划性能 [3][9] - 在NAVSIM v2和Bench2Drive两个公开基准测试中均达到当前最优性能，EPDMS分数为87.4，驾驶分数为87.1，成功率为71.4% [3][11][41][42] 技术背景与动机 - 传统单阶段回归方法在处理轨迹预测任务的多模态特性方面存在局限，易导致预测效果欠佳和泛化能力差 [7] - 基于扩散模型的生成式方法能学习未来运动的潜在分布，生成多样化轨迹，但依赖无结构噪声或固定锚点初始化，存在计算延迟和场景适应性不足的问题 [2][8] - 离散化解空间的方法（如基于评分的方法）随着锚点集规模增大会导致计算复杂度显著增加，限制其在延迟敏感系统中的应用 [7] DiffRefiner框架设计 - 采用粗到细的两阶段架构：第一阶段使用基于Transformer的提议解码器回归预定义轨迹锚点，生成粗粒度轨迹提议 [9][14][20] - 第二阶段引入条件扩散精炼器，对初始提议进行迭代去噪与优化，并设计了细粒度去噪解码器以增强场景适应性 [9][14][22] - 框架整合三个关键组件：以BEV为中心的感知模块、粗轨迹提议解码器和基于扩散的轨迹精炼器 [14] 关键技术创新 - 提出细粒度语义交互模块，通过交叉注意力和可变形注意力分层整合全局场景上下文与局部几何细节，实现轨迹与环境的精准对齐 [10][27][30] - 采用自适应门控网络动态融合全局场景表征与局部语义信息，平衡粗粒度上下文理解与精准空间对齐 [10][32] - 通过两阶段训练方案优化模型，采用赢者通吃策略选择最接近真实轨迹的预测进行损失计算 [34][36] 实验验证与性能 - 在NAVSIM v2开环基准测试中，EPDMS分数达到87.4，使用ResNet34骨干网络时相比之前最佳方法提升3.7%，使用V2-99骨干网络时提升1.6% [3][41] - 在Bench2Drive闭环基准测试中，驾驶分数达到87.1，成功率达到71.4%，相比之前最佳方法驾驶分数提升0.3，成功率提升2.3 [3][42] - 消融实验证实了各组件有效性，引入精炼器使EPDMS提升1.2，仅需一次去噪步骤即可实现接近最优性能，表明框架适用于实时系统 [43][50] 性能优势体现 - 在复杂交互场景中，该方法能更好地关注细粒度场景细节，减少与周围智能体的碰撞，并更严格地遵守地图约束 [51] - 该混合范式在大多数多能力指标上均取得持续提升，证明了其在多样化交互式驾驶场景中的鲁棒性和有效性 [42]

上海汽车产业人才历史集聚 - 上海是中国现代汽车产业的摇篮，最早的三家合资车企中只有上海大众存活并发展壮大，其巅峰时期年销量超过200万台，是中国产销规模最大的车企 [2] - 通过上海大众和上海通用的发展，上海虹吸了全国数万名汽车人才，服务于两家主机厂及数百家零部件供应商 [3] - 上汽集团借助合资企业经验，自2007年起推出多个自主品牌，吸纳了大量汽车人才 [6] - 2010年前后，多家外资车企如福特、沃尔沃、保时捷、宝马等在上海设立研发中心，进一步招聘大量汽车人才 [8] - 众多造车新势力也因上海的人才集聚效应在此设立总部或研发中心，截至2022年，上海从事汽车研发与营销的高端人才保守估计有5万人 [10] 上海汽车产业衰退与人才流失 - 从2023年开始，上海汽车人才出现净流出，转折点始于2022年末的上海造车新势力倒闭潮 [11] - 总部位于上海的造车新势力中，除蔚来外，威马、天际、爱驰、高合、哪吒、极越等均已停产，仅极石、吉祥、悠跑勉强维持 [12] - 传统车企如上汽大众、上汽通用销量已下降至高峰期的一半，并经历多轮裁员，外资车企如沃尔沃、保时捷的上海研发中心也在2025年大规模裁员 [12] - 因新势力停产和传统车企萎缩导致的裁员至少涉及2.5万人，上海高端汽车人才失业率约50% [13] - 上海汽车求职市场岗位数量远小于求职者数量，轻松涨薪30%换工作的现象已不复存在 [14] 人才流向与行业新趋势 - 上海汽车人才在本地找不到合适工作后，纷纷将目光投向全国，作者估计其前同事中有三分之二已去异地工作，工作日在外地，周末回上海与家人团聚 [17][18] - 人才主要流向芜湖的奇瑞汽车、宁波的吉利研究院、杭州的吉利总部，以及广州、北京、合肥、重庆、武汉等地的汽车公司 [19][21] - 部分汽车人才已走出国门，被派往美国、英国、德国、西班牙、泰国、马来西亚、法国等地，为中国品牌开拓国际市场 [23][24] - 在外省市自主品牌如比亚迪、吉利、奇瑞、赛力斯销量以30%-50%速度增长的背景下，这些公司已能开出与造车新势力接近的薪资，吸引力增强 [15][16] - 尽管国内市场竞争激烈，但全球大量发展中国家千人拥车量仍很低，中国汽车出海拥有巨大长期发展潜力 [25][26]

文章核心观点 - 当前秋招季背景下，硕士生面临就业与申博双重压力，高质量科研成果成为关键竞争力 [1] - 针对研究生在论文写作中遇到的选题、框架、论证等困境，公司提供专业论文辅导服务以提升科研产出能力 [1] - 公司通过系统化辅导流程与顶尖学术资源，助力学员在3-6个月内完成高质量论文并实现高命中率 [2][4][5] 服务优势与资源 - 公司拥有国内最顶尖的学术资源，深耕自动驾驶、具身智能、机器人等交叉学科领域 [4] - 导师团队规模超过300人，均来自全球QS排名前100高校，具备顶会/子刊等高水平论文发表经验 [5] - 近3年累计辅导学员超400名，论文中稿率达到96%，体现高效交付能力 [5] - 提供个性化匹配系统，根据学员研究方向、目标期刊等维度从300+导师中筛选3-5位最优人选 [18] 辅导流程与周期 - 标准辅导周期为12周，涵盖选题、文献综述、实验设计、投稿全流程，具体安排为：第1周确定3个备选课题，第2-3周完成文献综述，第4-6周进行实验与数据收集，第7-8周完成初稿，第9-10周修改润色，第11-12周选刊投稿 [4] - 针对零基础学员提供基础课程，通过文献带读与系统跟进，可在6个月内完成小论文产出 [18] - 采用1v1在线授课模式，配套班主任全程督学、微信群答疑、录播回看等服务体系 [12][15][17] 目标用户群体 - 主要面向计算机专业硕博生，尤其适合导师放养、需提升科研思维与论文创新能力的群体 [9][10] - 覆盖有科研需求、职称晋升、人工智能领域从业者及考研申博留学者等多元化人群 [10] - 辅导成果可延伸至职业发展，优秀学员可获得名校推荐信或内推至阿里达摩院、华为诺亚方舟等企业研发岗 [19]

小米汽车智能驾驶技术发展 - 智能驾驶能力发展遵循三个阶段：从1.0规则驱动到2.0数据驱动再到3.0认知驱动[7] - 技术发展路线为：2024年3月高精地图版本高速NOA → 2024年5月城区NOA → 2024年10月轻图和无图版本 → 2025年2月300万clips端到端版本 → 2025年7月1000万clips版本 → 近期世界模型版本[7] - 在安全、舒适和效率三个维度上，安全永远是第一位[4] - 泊车功能渗透率最高且用户使用最多，城区智驾投入最大且提升空间最大[8] - 2024年11月21日广州车展发布Xiaomi HAD增强版，将通过OTA冬季大版本Xiaomi HyperOS 1.11系列推送给用户[8] 世界模型技术特性 - 世界模型三大核心特性：生成的多样性（重建真实性+快速新场景生成+场景编辑）、多模态输入输出（文字/视频输入+视觉/LiDAR重建）、交互能力（闭环影响下一时刻自车行为）[9] - 世界模型更偏云端应用，通过数据生成、闭环仿真和强化学习提升模型性能，不直接参与车端Action输出[10] - 1.11版本引入世界模型和强化学习，主要解决极端corner case场景，采用重建+生成结合方式[8] VLA与端到端技术路线 - VLA（视觉语言动作模型）是认知驱动核心，为下一阶段量产目标，并非端到端的升级[7] - 端到端本质是模仿学习，VLA直接将大模型能力赋予自动驾驶，世界模型类似端到端plus[13] - VLA可与世界模型融合，学习人类高层次知识（交通规则/价值观）[13] - 小米大模型发展路线：LLM预训练 → VLM预训练 → 具身预训练 → 自驾VLA，已推出MiMo、MiMo-vl和MiMo-Embodied[13] - VLA的无损传递是相比端到端+VLM的最大提升[13] 自动驾驶技术社区资源 - 自动驾驶之心知识星球涵盖40+技术方向，包括VLA学习路线、端到端自动驾驶、世界模型等[16][27] - 社区成员来自300家机构与自驾公司，包括蔚小理、地平线、华为等头部企业[26] - 提供近40+开源项目、近60+数据集、行业主流仿真平台及各类技术学习路线[27] - 社区内部举办超过100场专业技术直播，邀请学术界和工业界大佬分享最新研究成果[99]

文章核心观点 - 文章系统回顾了公司在自动驾驶领域的一系列核心技术研究，这些研究构成了一个从感知到规划、再到仿真评测和基础模型的完整技术链路 [2][4][5] - 技术路径从Sparse4D系列融合感知出发，逐步拓展至SparseDrive端到端运动规划，并针对长期迭代需求开发了UniMM交通流仿真和DriveCamSim传感器仿真，最终探索了智驾基础大模型LATR [4][5][30] - 认为端到端模型是行业明确方向，但未来性能提升高度依赖于高效、准确的云端评测系统，而非完全依赖实车测试 [22][30][31] 3D融合感知（Sparse4D系列） - Sparse4D系列采用稀疏query加内外参投影采样的方式，直接从多视角图像特征得到融合感知结果，理论计算复杂度远小于BEV方案 [6][7] - Sparse4D v1核心是deformable aggregation算子，实现了纯稀疏范式的融合感知 [7] - Sparse4D v2将时序融合方式改为recurrent形式，时序复杂度从O(T)降低至O(1)，并优化了算子实现，提升了训练推理速度和模型性能 [9] - Sparse4D v3通过temporal denoising、decouple attention等技术提升性能，并以简洁方式实现了联合检测与跟踪，在nuScenes camera-only detection和tracking榜单位居第一 [11] 端到端运动规划（SparseDrive） - SparseDrive在Sparse4D基础上，增加了online mapping任务并设计了运动规划器，实现了检测、跟踪、建图、预测和规划五个任务的端到端处理 [13][15] - 采用稀疏feature作为planner输入，通过大量负样本query覆盖所有可视范围，以应对非白名单物体的避障问题 [15] - 当前规划decoder结构较简单，且仅在nuScenes上进行开环评测，闭环性能有待通过仿真器进一步优化 [15] 轨迹预测与交通流仿真（EDA & UniMM） - EDA提出了动态更新的anchor概念，并采用NMS策略进行匹配，能有效建模轨迹预测的多峰分布，且可与多数预测模型即插即用 [16][17] - 轨迹预测是连接感知和决策的中间件，但其应用受感知噪声和下游使用复杂性限制 [19] - UniMM将交通流仿真的主流模型Continuous Mixture Models和GPT-Like Discrete Models进行了统一，并提出了通用算法框架 [20] - 交通流仿真通过每一步重新采样的方式绕开直接建模多车联合概率，比联合轨迹预测更能反映算法真实性能 [19][20] 传感器仿真（DriveCamSim） - DriveCamSim旨在构建高度可控的传感器仿真系统，通过显式投影约束3D-2D和时序一致性，解耦了时间和空间概念 [23][24] - 模型可生成任意帧率、任意相机内外参、任意相机数量下的图像，适应的condition包括3D bounding box、地图、自车pose等 [24] - 相比于基于3DGS的重建方案或完全依赖Attention的生成方案，该方法在可控性和一致性上具有显著优势 [23][24] 智驾基础模型（LATR） - LATR目标是通过海量数据无监督训练和大参数量，构建能理解智驾场景语义、空间和时空关系的基础模型 [26] - 采用Mask Image Modeling进行预训练，并通过精心设计的masking策略加大补全难度以提升训练效果 [26] - 设计了decoder-only的统一架构，将7个任务融合到同一框架中，新增任务仅需增加一个MLP，最大程度复用预训练参数，效果达到与SparseDrive相当的水平 [27]

行业人才供需现状 - 端到端技术是当前汽车行业量产的核心关键词，成为各家车企的重点招聘岗位 [1] - 市场上真正的端到端量产人才极为稀缺，该岗位要求具备从模型优化、场景优化、数据优化到下游规划兜底的全栈能力 [1] - 行业出现人才供需失衡现象：一方面求职者面临巨大就业压力，另一方面企业难以招到合适人才 [1] 技术挑战与课程设计背景 - 端到端技术在工业界量产仍需攻克诸多难题，包括导航信息的引入、强化学习调优、轨迹的建模及优化等 [3] - 为应对行业实际需求，专门设计了为期三个月的端到端量产进阶课程，聚焦从实战到落地的全过程 [3] 课程核心内容体系 - 课程涵盖核心算法包括：一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [5] - 第一章重点介绍感知模型一体化架构和规控learning化方案，这是各大公司的核心必备技能 [10] - 第二章深入讲解两段式端到端算法框架，包括建模方式、信息传递机制以及PLUTO算法实战 [11] - 第三章分析一段式端到端框架，探讨基于VLA和diffusion等方法，并通过VAD系列进行深入掌握 [12] - 第四章专门研究导航信息在量产中的应用，包括地图格式、编码与嵌入方式 [13] - 第五章从模仿学习过渡到强化学习，重点介绍RL算法及其训练策略以解决corner-case场景泛化问题 [14] - 第六章进行nn planner项目实战，结合模仿学习与强化学习算法 [15] - 第七章讲解量产兜底方案，包括轨迹平滑优化算法和多模态轨迹打分搜索算法 [16] - 第八章分享实际量产经验，从数据、模型、场景、规则等多视角剖析问题解决策略 [17] 课程实施与招生信息 - 课程采用离线视频教学结合VIP群答疑模式，包含三次线上答疑，总时长三个月 [20] - 课程从11月30日开始按周解锁章节，具体安排为：11月30日第一章、12月7日第二章、12月14日第三章、12月21日第四章、12月30日、1月15日、2月10日、2月24日均为第五章 [20] - 课程仅限35个招生名额，采取小班授课模式 [5][23]

行业技术趋势 - 视觉语言动作模型成为自动驾驶行业重要发展方向 小鹏汽车已官宣VLA2 0版本[14] - 学术界与工业界存在世界模型和VLA技术路线之争 反映出技术路径尚处探索阶段[14] - 3D高斯泼溅技术在动态场景重建领域获得应用 香港中文大学联合滴滴提出UniSplat方法实现高效驾驶场景重建[14] - 端到端自动驾驶 大模型 强化学习等前沿算法已完成多项目预测和量产交付[13] 人才招聘需求 - 驭势科技招聘规划算法工程师 工作地点北京房山 要求研发复杂场景无人驾驶轨迹规划算法[3][4] - 岗位任职条件包括熟悉混合A* Lattice QP MPC等路径规划方法 了解车辆运动学动力学建模[7] - 优先考虑学历背景优秀或具智能驾驶大厂背景 有优化问题建模求解研究经历者[7] - 要求具备Linux系统下C/C++编程经验 机器人或无人驾驶规划项目经验[7] 专业社区动态 - 自动驾驶之心知识星球举办多期星友面对面活动 嘉宾来自香港高校博士 头部科技公司研发人员[13] - 社区讨论内容涵盖BEV感知 VLA 多模态RAG 3D目标检测与3DGS结合等前沿技术话题[13] - 圆桌讨论聚焦FSD v14技术分析 自动驾驶十年技术跃迁与未来路线等行业核心议题[13] - 社区提供技术资料共享 包括3DGS相关开源项目DriveStudio等资源[13]

研究背景与挑战 - 4D LiDAR数据的高保真、可控合成是构建可扩展自动驾驶仿真环境的核心需求[2] - 任务面临三大固有挑战：LiDAR的球形采样几何与传统笛卡尔网格不兼容导致量化失真和结构扭曲[2]；点云的时间稀疏性导致动态场景时间连贯性难以维持，常出现表面闪烁或目标对齐不一致[8]；现有方法依赖2D BEV布局作为条件输入，扁平化3D空间信息，无法精准控制3D场景结构和目标操纵[8] - 现有LiDAR生成方法受限于笛卡尔体素化的几何失真、时间连贯性不足和可控性薄弱等问题，难以满足自动驾驶仿真对真实性和精准性的要求[4] 核心创新设计 - 提出混合圆柱-球面坐标体素化，通过固定角分辨率的离散化保留所有距离下的几何细节，避免笛卡尔网格的稀疏性和量化误差，实现紧凑高效的4D数据编码[9] - 设计射线中心时空注意力模块，包含空间射线中心注意力和循环移位时间因果注意力两个核心组件，专门用于建模LiDAR序列的时空依赖[10][14] - 提出MaskSTART可控生成框架，通过4D点云对齐体素布局作为条件输入和迭代掩码生成机制，实现高效、高分辨率的布局引导生成，支持复杂场景结构的精细操控[12] 技术细节拆解 - HCS-based 4D VQ-VAE作为框架基础实现4D LiDAR序列的离散表征学习，编码器通过体素合并和START块提取时空特征，解码器从量化token恢复特征并重建点云[13][15] - 空间射线中心注意力将特征沿射线维度展开，通过自注意力聚合所有射线的全局上下文，精准捕捉视线方向上的遮挡关系和空间关联[14] - 循环移位时间因果注意力解决球形坐标展开后的方位角边界不连续性问题，通过严格的时间因果约束确保预测仅依赖历史和当前信息，维持动态场景的时间连贯性[14][16] 实验验证与性能表现 - 重建任务相较于OpenDWM基线，IoU相对提升32%至0.583，MMD降低60%至0.061，Chamfer距离减少41%至0.017[21][22] - 预测任务在1秒未来预测中Chamfer距离降低17%，L1中位数误差减少50%，在2秒长时域预测中仍能保持静态背景和动态目标的清晰结构[25] - 生成任务MMD大幅降低76%至9.94，不同距离范围的Chamfer距离均减少50%以上，生成的点云分布与真实数据高度一致且能严格遵循4D布局约束[28][29] 消融实验验证 - 坐标系统对比显示HCS显著优于笛卡尔和极坐标，IoU比极坐标提升16%至0.554，验证其对LiDAR几何特性的适配优势[30] - START模块有效性验证显示SRA单独使用可将IoU从0.503提升至0.554，加入CSTA后进一步优化至0.583，证明空间射线注意力和时空因果注意力的协同价值[30][31]