Workflow
端到端算法
icon
搜索文档
马斯克情人节“挥刀自宫”!为了一己私利,还是造福全人类?
电动车公社· 2026-02-12 00:06
FSD商业模式重大变革 - 公司宣布自2月14日起在北美和加拿大停售FSD买断服务,后续仅提供199美元/月(约合人民币1400元)的订阅模式 [2] - 允许终身版FSD“跟人不跟车”的转让权益将于3月31日结束,意味着在2月14日前以8000美元买断是获得永久使用权的最后机会 [3][5] - 公司通过“先砍权益、赠送试用、犹豫期逼单、按月付费”四步策略推动商业模式转变,旨在将一次性买卖转化为持续现金流并拓宽用户群体 [29][30][34][35][36][37][38] AI芯片技术路线与产能规划 - 最新的AI5芯片设计接近完成,目标在9个月内完成设计周期,下一代AI6芯片已启动研发 [5] - AI5芯片算力相比上一代HW 4.0提升约5倍(达2000-2500TOPS),将用于FSD、CyberCab无人驾驶出租车、Optimus人形机器人和Neuralink脑机接口 [5] - 芯片设计取向聚焦成本和功耗,旨在支持打造包含9000万台汽车和上百亿台机器人的规模 [6][7] - 为满足海量需求,公司计划找台积电、三星和英特尔代工,并自建一座晶圆月产能达100万片的TeraFab芯片工厂,且建设工期需从5年压缩至一两年 [11][12] FSD技术进展与性能表现 - FSD V12版本启用端到端算法,面对复杂路况能像真人一样迅速精确处理,操作流畅 [42][43] - 技术核心在于通过“预判”降低感知到决策、决策到执行的延迟,系统每秒能输出36个执行动作,远超许多车型的每秒10个左右 [46] - 2025年FSD V14版本实现0接管横跨美国4400公里(用时68小时)的旅程 [49][50] - 集成xAI后,FSD能理解并回应更复杂的自然语言指令,被评价为可能已通过物理图灵测试 [53] - 截至今年1月,FSD累计行驶里程达百万亿公里,其中城市复杂路况超40万亿公里;Robotaxi路测时间超1000万小时,每天产生的数据相当于人类500年驾驶时长 [56][57] FSD市场数据与商业化动力 - 2025年FSD用户同比增长38%,月付用户增长超100%,但总付费人数仅约110万名,渗透率不足12% [26][28] - 公司CEO绩效奖励目标之一为FSD活跃用户需连续3个月突破1000万 [24] - 若达到1000万月活用户,仅每月199美元的订阅费即可为公司带来20亿美元利润 [26] - 美国保险公司Lemonade宣布,特斯拉车主激活FSD可享车险保费5折优惠,为FSD安全性提供了第三方背书 [40][41] FSD中国本土化前景 - 短期内,公司在中国不会用月付会员制完全替代买断制,FSD价格将维持在6.4万元 [66] - 在中国缺乏大规模车队提供数据且数据出境难,主要依靠视频训练模型进行本土化调优 [64] - 公司在中国自建的训练中心算力规模无法与美国总部相比 [65] - 长期来看,满血版FSD入华时间点不再遥远,公司高管表示欧洲可能在2月用上,中国随后推进,FSD一直在针对中国市场进行适配 [68][69] 公司战略与使命更新 - 公司更新品牌使命,从“加速世界向可持续能源的转变”变为“建设一个富足非凡的世界”,目标转向全面拥抱AI,通过汽车和机器人发展生产力 [15][16] 辅助驾驶技术演进路径 - 技术发展从规则算法(依赖高精地图、激光雷达等)演进到端到端算法和VLM大模型(模仿学习人类驾驶),再到VLA大模型和世界模型(通过强化学习自我探索) [72][74][75][80][81] - 当前技术的天花板是“最强老司机”,实现L4级自动驾驶仍需冗余设计、安全可靠性验证及通过法规考核 [82][83] - 技术持续进步,新一代技术将推动辅助驾驶向自动驾驶发展 [85]
市场正在惩罚只懂理论的端到端算法工程师......
自动驾驶之心· 2025-12-29 09:07
行业人才供需现状 - 中游车企和Tier1供应商正积极投入人力和资源跟进端到端自动驾驶技术,表明行业需求旺盛[1] - 市场面临算法人才短缺,面试候选人往往只懂部分技术或停留在论文层面,缺乏量产经验和优化能力[1] - 端到端岗位薪资很高,但缺乏能力相匹配的算法人才,凸显了高端技术人才市场的供需失衡[1] 核心技术栈 - 导航信息、强化学习、扩散模型、自回归、时空联合规划是当下端到端自动驾驶落地最重要的技术栈[1] - 行业主流趋势是感知任务的合并与规控算法的学习化,如何高效合并感知任务和设计学习化规控模块成为各大公司核心技能[6] 课程核心内容与结构 - 课程为期三个月,包含七个实战项目,聚焦量产应用,从实战到落地层层展开[1] - 课程核心算法涵盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等[1] - 课程大纲共八章,系统性地从概述、两段式/一段式框架、导航应用、强化学习、轨迹优化、兜底方案到量产经验分享[4][6][7][8][9][10][11][12][13] 技术方案详解 - 两段式端到端框架涉及感知与规划控制的信息传递,其优缺点将被详细分析,并通过经典的PLUTO算法进行实战[7] - 一段式端到端框架可实现信息无损传递,性能上优于两段式方案,课程将学习基于VLA、Diffusion等多种方案,并深入VAD系列[8] - 导航信息在自动驾驶中起引导、选路、选道作用,课程将介绍主流导航地图格式、内容及其在端到端模型中的编码与嵌入方式[9] - 纯模仿学习存在局限,需结合强化学习以学习因果关系并实现泛化,课程将重点介绍强化学习算法及其训练策略[10] - 轨迹输出优化项目将实战基于模仿学习的算法,重点介绍扩散模型和自回归算法,并在监督微调后结合强化学习[11] - 量产兜底方案采用时空联合规划,通过轨迹平滑优化算法保证输出轨迹的稳定可靠,涵盖多模态轨迹打分搜索与平滑算法[12] 课程实施与要求 - 课程采用离线视频教学,配合VIP群答疑及三次线上答疑,答疑服务截止2026年11月30日[14] - 课程面向进阶学员,建议具备自动驾驶BEV感知、视觉Transformer、端到端算法、强化学习与扩散模型理论基础,以及Python、PyTorch和MMDet3D框架使用能力[16] - 学员需自备GPU,推荐算力在RTX 4090及以上[16] - 课程计划于11月30日开课,按周或双周解锁新章节,预计三个月结课[14][15][17]
一个在量产中很容易被忽略重要性的元素:导航信息SD
自动驾驶之心· 2025-12-26 09:56
导航信息在自动驾驶中的应用与核心职责 - 导航信息SD/SD Pro已在许多量产方案上使用 提供车道、粗粒度路径点等信息 为车辆提供粗略的全局和局部视野 [2] - 导航模块的核心职责之一是提供参考线 这是下游规划与控制模块的强需求 能极大减轻规划压力 车辆只需在参考线基础上进行细化 [4] - 导航模块的另一核心职责是提供规划约束与优先级、路径监控和重规划功能 [5] 导航信息的具体功能与系统集成框架 - 导航信息能实现车道级的全局路径规划 搜索目标车道的最优车道序列 [6] - 导航信息能为行为规划提供明确的语义指导 方便车辆提前准备变道、减速、让行等操作 [6] - 在两段式系统框架中 导航信息输入到感知模型 输出导航路径 该路径再作为机器学习规划器的输入 用于预测自车行驶轨迹 [16] - 在一段式系统框架中 导航信息经过专用编码器编码后 与动态、静态信息一起作为输入 参与后续的模型优化 [21] 端到端自动驾驶课程核心内容概述 - 课程重点聚焦落地 内容涵盖一段式、两段式、强化学习、导航应用、轨迹优化及量产经验分享 [24] - 课程第一章概述端到端任务 介绍主流的感知模型一体化架构和经典的规控学习化方案 并对开源数据集和评测方式进行详细说明 [29] - 课程第二章介绍两段式端到端算法框架 包括其建模方式、感知与规划控制的信息传递方式、优缺点 并通过经典算法进行实战 [30] - 课程第三章介绍一段式端到端算法框架 该框架可实现信息无损传递 性能通常优于两段式 涵盖基于向量逻辑注意力、扩散模型等多种方案 [31] - 课程第四章专门讲解导航信息的量产应用 包括主流导航地图的格式与内容 以及导航地图在端到端模型中的编码与嵌入方式 [32] - 课程第五章介绍自动驾驶中的强化学习算法 旨在弥补纯模仿学习的不足 让机器学习因果关系以实现更好的泛化能力 [33] - 课程第六章进行基于神经网络的规划器项目实战 重点介绍基于扩散模型和自回归模型的模仿学习算法 以及后续的强化学习算法 [34] - 课程第七章讲解量产中的兜底方案——时空联合规划 介绍多模态轨迹打分搜索、轨迹平滑等后处理算法 以确保输出轨迹的稳定可靠 [35] - 课程第八章分享端到端量产经验 从数据、模型、场景、规则等多个视角剖析如何选用合适工具与方法以提升系统能力边界 [36] 课程安排与面向人群 - 课程为小班教学 仅剩10个招生名额 [24][26] - 课程开课时间为11月30日 预计三个月结课 采用离线视频教学 配合VIP群答疑及三次线上答疑 答疑服务截止2026年11月30日 [37] - 课程面向进阶学员 建议学员自备算力在4090及以上的GPU 并熟悉自动驾驶BEV感知、视觉Transformer、端到端等常见算法 [39] - 课程章节按计划解锁 例如第一章于11月30日解锁 第二章于12月7日解锁 后续章节依次在12月14日、12月21日、12月30日、1月15日、2月10日、2月24日解锁 [38][40]
一见Auto采访小米陈光的一些信息分享......
自动驾驶之心· 2025-12-26 09:56
行业技术路线争鸣 - 智能驾驶行业在2025年出现“名词过载”现象,技术路线分化出多个派别,争鸣不断 [7] - 理想汽车与智驾供应商元戎启行坚定选择VLA路线,在算法架构中引入大语言模型 [4] - 华为表示不会走向VLA,而是坚定选择WA路线,小鹏也在尝试去掉Language环节 [4] - 小米汽车是持续深耕端到端方向的企业之一 [5] 小米汽车的技术路径与策略 - 小米汽车端到端研发启动较晚,于2024年内部正式整合成立“端到端算法与功能部”,比理想、蔚来晚了至少3个月 [5] - 但小米追赶迅速,在2025年2月向用户全量推送了300万Clips的端到端,7月再次推送了1000万Clips版本,11月于广州车展发布Xiaomi HAD增强版 [5] - 小米HAD增强版最大的不同是引入了世界模型+强化学习,使模型具备开放世界的知识性以及推断复杂场景因果的能力 [5] - 公司认为在端到端算法中引入世界模型和强化学习并非首创,但会将其做得“更坚决” [5] - 公司智能驾驶团队主要分成三拨,除端到端和VLA外,市面上所有路线(包含WA、VA)在内部都有预研团队 [10] - 面对技术路径选择,公司并非“一刀切”,认为新技术的引入需要循序渐进,技术是否先进并不代表体验一定更好 [12] - 公司判断技术的最终标准是能否被用户感知、信任和长期使用,用户体验不好,用户只会觉得是公司的问题,而非技术问题 [12][24] - 公司认为在有限算力下训练出智能密度最大的模型是努力方向,不过分卷算力,用户体验才是关键 [18][32][33] 小米智驾团队的独特性与能力 - 小米智驾团队虽然不是成立最早,却是组建最快、追赶最猛的团队 [12] - 自2021年3月官宣造车起,第一年便组建了500人团队,而理想组建700人团队花费两年,小鹏花费3年 [13] - 4年间,团队已超1800名成员 [13] - 自2024年3月SU7上市以来,公司从高精度地图进化到无图,近一年间推送了三个版本的端到端,实现了“一年追三代”,而其他新势力的摸索至少经历了三年时间 [13] - 截至2025年第三季度,公司年内已投入235亿元研发费用,其中四分之一(约58.75亿元)用于AI研发 [13] - 公司具备强大的“基建”能力,即以数据为核心的研发效能提升,包括快速数据挖掘、标注、模型训练与自动化评测 [41][42] - 云端基建能力可相互借鉴且经验可复制,公司其他业务(如云服务)的扎实底层基建能够被汽车业务快速复用 [14][44][45] - 公司测试资源、数据资源非常充沛,易于获取高质量场景数据 [46] - 强大的基建能力与对专属素材及测试的重视,共同造就了公司快速的研发迭代 [47] 端到端、世界模型与强化学习的应用 - 公司认为,无论是VA、WA还是VLA,本质都是如何让模型的智能密度最大 [5][18] - 单纯的端到端只是模仿学习,属于数据驱动;而引入强化学习、世界模型或VLA后,则进入认知驱动阶段,模型具备推理因果逻辑的能力 [20] - 强化学习在智能驾驶中应用面临两大难题:世界模型难以完全保真,需要放入大量可编辑的数字资产;并行探索的效率面临算力合理分配的挑战 [6] - 公司在新版本中优化了奖惩制度,算法会在世界模型里反复练习,通过奖励机制不断尝试以找到更优的驾驶思路 [39] - 公司认为端到端+世界模型+强化学习主要解决“直觉”问题,针对中等难度或非极端困难场景,本能反应更快 [22] - VLA则旨在解决需要长序思考的复杂场景问题 [35] - 公司不认为存在唯一最好的技术路线,有时不一定能找到最强的技术,但一定能找到最适合自身系统的技术方案 [23] 仿真测试的战略价值 - 仿真测试是公司研发的“三支柱”之一,另外两者是场地测试和实车测试 [68] - 公司针对所有实车测试里程,在仿真中的测试目标是达到至少100倍的比例 [67][70] - 在模型训练中,真实数据与仿真数据的分配比例约为八二开,真实数据占80%,仿真数据占20% [71] - 20%的仿真数据能够显著降低人力成本,若无仿真,人力成本至少需翻几倍 [72] - 仿真的核心价值在于解决实车难以遇到、不好收集和挖掘的场景数据,例如高速路上运输几十米大风叶等罕见场景 [73][74] - 公司当前仿真数据的生成质量很强,并会通过评价指标保证其与真实数据的一致性 [61][62] - 仿真环境需要足够逼真、符合物理规律,并具备强大的场景编辑能力,以改变光照、天气、路面状况、交通参与者等要素 [60] 关于芯片与VLA的考量 - 公司认为自研自动驾驶芯片需权衡需求与成本,好处是成本可控、软硬件配合更好,但前期投入大、回本辛苦 [78][79] - 从一颗芯片迁移到另一颗芯片时,会面临“部署偏差”问题,包括算子支持差异、计算精度不同导致的输出不一致等,需要针对性的优化和校准 [80] - 芯片迁移优化工作量巨大,通常需要6到10个月甚至更长时间 [81] - 公司从英伟达Orin芯片迁移到Thor芯片的速度比一般企业快很多 [83] 对L2与L4发展的看法 - 从技术栈来看,L2与L4正越来越走向统一,在数据驱动和认知驱动下,开发逻辑越来越相同,主要差异在于场景化和安全要求 [86] - 目前L2面临的挑战更大,因其受限于车上有限的算力与传感器,且需要不断平衡安全、效率、舒适性以及用户的驾乘习惯 [87] - L4对安全系数要求更高,需要做更多的安全冗余以实现绝对安全,其最终责任方是系统本身 [86][88] - L2作为辅助驾驶,人类驾驶员是最终的监督和把控责任方 [88] - 公司认为L4一定会做成,从车企的角度来说,也慢慢会涉足到L4领域 [89]
小米陈光:我们不想制造技术焦虑了
21世纪经济报道· 2025-12-25 16:24
行业技术路线争鸣 - 2025年智能驾驶行业出现“名词过载”现象,分化出VLA、VA、WA等多个技术派别,争鸣不断 [2] - 理想汽车与供应商元戎启行坚定选择VLA路线,在算法架构中引入大语言模型 [2] - 华为与小鹏是VLA的反对派,选择WA路线,尝试去掉Language环节 [2] - 小米汽车认为VA、WA、VLA本质目标一致,都是追求在有限算力下使模型的智能密度最大 [3][8] 小米汽车技术路径与进展 - 小米汽车坚定选择并深耕端到端技术路线,同时内部对VLA、WA、VA等所有主流路线均有预研团队 [3][4] - 小米端到端研发启动较晚,于2024年内部正式整合成立“端到端算法与功能部”,比理想、蔚来晚了至少3个月 [3] - 但小米追赶迅速,在2025年2月向用户全量推送300万Clips的端到端,7月推送1000万Clips版本,11月于广州车展发布Xiaomi HAD增强版,实现了“一年追三代” [3][6] - Xiaomi HAD增强版最大的不同是引入了世界模型+强化学习,使模型具备开放世界的知识性和推断复杂场景因果的能力,标志着进入认知驱动阶段 [3][9] - 小米智能驾驶团队规模已超过1800人,自2021年3月官宣造车后快速组建,第一年即组建500人团队,速度远超同期友商 [5][6][12] - 公司计划在2025年内完成Xiaomi HAD增强版的量产任务 [6] 技术理念:认知驱动与用户体验 - 行业共识是从单纯的数据驱动走向认知驱动阶段,以解决数据驱动无法覆盖所有长尾场景、难以平衡数据分布的问题 [9] - 简单的端到端模仿学习属于数据驱动,而引入强化学习、世界模型或VLA则属于认知驱动,其特点是让模型知道行为原因并进行自主探索与推理 [9] - 小米认为技术是否先进不代表体验一定更好,最终判断标准是能否被用户感知、信任和长期使用 [5][10] - 用户体验是最终落脚点,用户体验不好,用户会归咎于公司而非技术 [5][10] - 在有限硬件条件下训练出智能密度最大的模型是各家的努力方向,不应过分内卷算力 [14][15] 研发策略与基建能力 - 小米研发策略并非“一刀切”,新技术的引入需要循序渐进,并注重寻找最适合自身的技术方案 [5][9] - 强大的以数据为核心的研发基建是小米快速追赶的关键,其优势在于高效的研发架构、数据闭环和自动化流程 [17][18][19][20] - 基建能力强的体现包括:快速从已有数据中挖掘并标注问题、模型训练速度快、评测自动化程度高 [20] - 小米作为科技企业,其云端基建能力可在不同业务间相互借鉴和快速复用,这是其天然优势 [6][21][22] - 截至2025年第三季度,小米年度研发总投入已达235亿元,其中四分之一资金用于AI研发 [6] 仿真技术的应用与价值 - 在世界模型中应用强化学习面临两大难题:世界模型的保真度、并行探索的算力分配效率 [4][33] - 小米在应用强化学习和世界模型构建仿真环境方面比一般友商更为坚决 [32] - 高质量的仿真环境需要足够逼真、符合物理规律,并具备强大的场景编辑能力 [34][35] - 仿真数据主要用于解决实车难以遇到或危险的长尾场景,其生成质量很高 [35][36][42] - 在测试体系中,仿真测试里程要求至少是实车测试里程的100倍 [37][40] - 在模型训练数据中,仿真数据占比约为20%,真实数据占80% [41] - 这20%的仿真数据价值很高,能解决实车难以采集的场景,预计可减少数倍的人力成本 [41][42]
聊聊导航信息SD如何在自动驾驶中落地?
自动驾驶之心· 2025-12-23 08:53
导航信息在自动驾驶中的应用 - 图商提供的导航信息SD/SD Pro已在多个量产方案中使用,为车辆提供车道、粗粒度路径点等全局与局部视野信息,其应用顺理成章 [2] - 导航模块的核心职责之一是提供参考线,这能极大减轻下游规划控制模块的压力,车辆只需在参考线基础上进行细化 [4] - 导航模块还负责提供规划约束与优先级、路径监控和重规划等功能 [5] - 具体应用包括:进行车道级的全局路径规划,搜索目标车道的最优车道序列;为行为规划提供明确语义指导,方便车辆提前准备变道、减速、让行等操作 [6] 端到端自动驾驶算法框架 - 在两段式框架中,导航信息输入到感知模型,输出导航路径,该路径再作为机器学习规划器的输入,用于预测自车行驶轨迹 [16] - 在一段式框架中,SD信息经过专用编码器编码后,与动静态信息一同作为输入,参与后续的模型优化 [20] - 一段式框架相比两段式能做到信息无损传递,因此在性能上更具优势 [30] 行业课程内容概述 - 课程聚焦自动驾驶端到端技术的落地应用,涵盖一段式、两段式、强化学习、导航应用、轨迹优化及量产经验分享 [23] - 课程由工业界算法专家联合开设,讲师为国内顶级一级供应商算法专家,拥有大模型、世界模型等前沿算法的预研和量产落地经验 [25] - 课程面向进阶学员,需自备算力在4090及以上的GPU,并具备BEV感知、视觉Transformer、强化学习等算法基础 [38] - 课程采用离线视频教学,配合VIP群答疑及三次线上答疑,学习周期预计三个月 [36] 课程核心章节大纲 - 第一章概述端到端任务,介绍感知模型一体化架构、规控算法学习化方案及开源数据集与评测方式 [28] - 第二章详解两段式端到端算法框架,包括其建模方式、感知与规划控制的信息传递,并通过PLUTO算法进行实战 [29] - 第三章讲解一段式端到端算法框架,介绍基于向量逻辑架构和扩散模型等多种方案,并深入学习VAD系列方法 [30] - 第四章专述导航信息的量产应用,涵盖主流导航地图格式、内容信息及其在端到端模型中的编码与嵌入方式 [31] - 第五章介绍自动驾驶中的强化学习算法,旨在弥补纯模仿学习的不足,使系统学习因果关系以实现泛化 [32] - 第六章进行神经网络规划器项目实战,重点涵盖基于扩散模型和自回归模型的模仿学习,并结合强化学习算法 [33] - 第七章讲解量产兜底方案——时空联合规划,介绍多模态轨迹打分搜索及轨迹平滑等后处理优化算法 [34] - 第八章分享端到端量产经验,从数据、模型、场景、规则等多视角剖析如何提升系统能力边界 [35]
端到端落地中可以参考的七个Project
自动驾驶之心· 2025-12-19 08:05
行业技术趋势与人才需求 - 自动驾驶行业端到端技术路线已被头部玩家验证可行 其他车企正跟进投入人力和资源 [2] - 导航信息、强化学习、扩散模型、自回归、时空联合规划是当前端到端量产落地最重要的技术栈 [2] - 行业面临人才挑战 候选人往往只懂部分技术 在导航信息引入、强化学习调优、轨迹建模优化等具体量产经验上存在痛点 [2] 课程核心内容与结构 - 课程为期三个月 包含七个实战项目 聚焦量产应用 [2] - 课程核心算法涵盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [2] - 课程最终章节将分享从数据、模型、场景、规则等多视角的量产经验 [14] 技术模块详解 - **第一章:端到端任务概述** 介绍感知任务合并与规控算法learning化的主流趋势 讲解感知模型一体化架构和规控learning化方案 并介绍开源数据集与评测方式 [7] - **第二章:两段式端到端算法** 讲解两段式框架建模及感知与PNC信息传递方式 分析其优缺点 并通过PLUTO算法进行实战 [8] - **第三章:一段式端到端算法** 介绍一段式框架 其可实现信息无损传递 性能优于两段式 涵盖基于VLA和基于Diffusion等方法 并通过VAD系列进行深入学习 [9] - **第四章:导航信息量产应用** 讲解导航地图的格式与内容 及其在端到端模型中的编码与嵌入方式 以更有效发挥导航能力 [10] - **第五章:自动驾驶中的RL算法** 在模仿学习基础上引入强化学习以解决人类驾驶风格差异和corner-case场景数据稀缺问题 实现模型泛化 重点介绍强化学习算法及训练策略 [11] - **第六章:端到端轨迹输出优化** 进行nn planner项目实战 包括基于模仿学习的扩散模型与自回归算法 以及后续的强化学习算法 [12] - **第七章:时空联合规划兜底方案** 介绍量产中用于轨迹平滑优化的后处理兜底逻辑 包括多模态轨迹打分搜索算法和轨迹平滑算法 以保证输出轨迹稳定可靠 [13] 课程安排与学员要求 - 课程采用离线视频教学 配合VIP群答疑及三次线上答疑 答疑服务截止2026年11月30日 [15] - 课程从11月30日开始 按周或双周解锁新章节 至次年2月24日完成全部八章内容 [16][18] - 课程面向进阶学员 建议自备算力在4090及以上的GPU 并熟悉BEV感知、视觉Transformer、端到端算法、强化学习、扩散模型理论 具备Python、PyTorch及mmdet3d框架基础 [17]
中游智驾厂商正在快速抢占端到端人才......
自动驾驶之心· 2025-12-15 08:04
行业技术发展趋势 - 智能驾驶领域的技术焦虑正在产业链中游厂商间快速传播[1] - 业内认为,端到端等前沿技术的大规模量产起点将在明年[2] - 当前智驾前沿技术发展放缓,量产方案趋同,L2级智能驾驶正走下沉路线[2] - 随着明年L3法规的进一步推进,中游厂商面临迫切的技术升级压力[2] - 近期许多公司的算法负责人正积极寻求了解端到端、世界模型、VLA、3DGS等前沿技术[2] 市场与量产现状 - 中国二十万以上的乘用车年销量约为700万辆[2] - 头部新势力品牌在此价格区间的销量占比不及三分之一[2] - 已实现端到端技术量产的车型占比更低[2] - 端到端技术的成熟被视为开启更大规模量产的关键[2] - 地平线公司宣布将进军10万级市场,表明高阶智驾正迅速向更多国民车型下沉[2] 技术实施与人才需求 - 端到端自动驾驶不仅仅是一个算法,其落地需要完善的云端与车端基础设施、数据闭环、工程部署、闭环测试、模型优化及平台开发等全套能力[2] - 可以预见,市场对中阶智能驾驶相关岗位的需求将更加旺盛[2] - 端到端和VLA(视觉语言动作模型)领域的招聘需求预计将显著增长[3] 行业培训动态 - 为应对技术升级需求,市场出现了针对端到端和VLA技术的实战培训课程[3] - 相关课程由工业界与学术界的专家联合开展,聚焦量产落地[3] - 课程内容涵盖导航信息应用、强化学习优化、Diffusion和自回归模型量产经验、时空联合规划等核心模块[3] - 另有课程专门梳理BEV感知、大语言模型、扩散模型和强化学习在端到端领域的应用,并设计相关实战项目[6] - 针对VLA领域,有课程从VLM(视觉语言模型)解释器到模块化、一体化及推理增强VLA进行全面梳理,并包含从零搭建模型的大作业[11] - 课程讲师及团队背景雄厚,多来自国内顶级主机厂、Tier1供应商及顶尖高校,拥有丰富的算法研发、预研及量产交付经验[5][8][13][14]
2025年还存活的自动驾驶公司......
自动驾驶之心· 2025-12-14 10:03
行业现状与趋势 - 智能驾驶行业正处于快速发展与整合阶段,L2级别自动驾驶渗透率正在快速提升,L3级别自动驾驶即将落地,L4级别自动驾驶正在寻求规模上的突破 [2] - 行业技术方向持续演进,包括端到端、视觉-语言-动作模型、世界模型、强化学习等前沿领域仍在快速发展 [2] - 行业经历新一轮洗牌与资源整合,部分公司已退出市场,部分公司正进行合并或收购,同时也有新势力公司涌现 [2] 主要市场参与者分类 - **新势力公司**:主要包括蔚来、小鹏、理想、小米、零跑、滴滴、威马、牛创、极氪、阿维塔、岚图、千里科技、极越等 [4] - **一级供应商**:主要包括华为、百度、大疆、中兴、腾讯、上汽零束、鉴智机器人、Momenta、博世中国、麦格纳、佑驾创新等 [6] - **Robotaxi公司**:主要包括百度、小马智行、上海造父智能科技、文远知行、元戎启行、滴滴、Momenta、轻舟智航、驭势科技等 [8] - **Robotruck公司**:主要包括卡尔动力、智加科技、赢彻科技、小马智行、主线科技、斯年智驾、西井科技、飞步科技、牧月科技、挚途科技等 [10] - **无人配送公司**:主要包括美团、九识智能、京东、苏宁、阿里菜鸟、中国邮政、百度Apollo、威盛电子、新石器、白犀牛等 [12] - **传统主机厂**:主要包括上汽、长安、广汽、北汽、一汽、长城、比亚迪、吉利、东风、奇瑞等 [14] - **农用自动驾驶公司**:主要包括丰疆智能、中联重科、中国一拖、悟牛智能、中科原动力、雷沃重工等 [16] - **矿区自动驾驶公司**:主要包括易控智驾、踏歌智行、慧拓智能、路凯智行、伯镭科技、盟识科技、清智科技等 [18] - **环卫自动驾驶公司**:主要包括智行者、酷哇、仙途、高仙机器人、深兰科技、浩睿智能、于万智驾、云创智行等 [20] - **自动泊车公司**:主要包括百度、追势、德赛西威、东软睿驰、禾多科技、纽励科技、恒润科技等 [22] - **高精地图公司**:主要包括百度、高德、四维图新、腾讯、华为、滴滴、京东、美团、宽凳等 [24] - **车路协同公司**:主要包括蘑菇车联、觉非科技、百度、华为、大唐高鸿、华砺智行、阿里、海康等 [24] 核心技术课程内容 - 课程涵盖端到端自动驾驶算法的核心内容,包括任务概述、两段式与一段式算法框架及经典算法 [29] - 课程包含导航信息在量产中的应用,涉及导航信息分类、编码及量产经验分享 [29] - 课程讲解自动驾驶中的强化学习,包括其解决的问题、环境配置、算法框架详解及开闭环训练 [29] - 课程涉及端到端轨迹优化技术,包括基于扩散模型和基于子回顾的优化方法,并结合强化学习进行实战 [29] - 课程包含时空联合规划与轨迹打分、搜索算法、横纵向轨迹平滑,并详解线性二次调节器及其迭代算法,分享量产经验 [30] - 课程提供端到端算法的量产经验分享,涵盖模型优化、场景优化与数据优化的思路 [30] 行业人才需求与薪酬 - 端到端自动驾驶算法工程师岗位要求3-5年经验及硕士学历,薪酬范围在每月50-80K,按14薪计算 [31] - 端到端自动驾驶算法部署工程师岗位要求3-5年经验及硕士学历,薪酬范围在每月40-70K,按14薪计算 [31] - 端到端自动驾驶大模型工程师岗位要求5-10年经验及本科学历,薪酬范围在每月30-60K,按16薪计算 [31] - 自动驾驶端到端规划模型算法工程师岗位对经验要求不限但需硕士学历,薪酬范围在每月35-60K,按14薪计算 [31] - 辅助驾驶产品总监岗位要求5-10年经验及本科学历,薪酬范围在每月40-70K [31]
正式开课!7个Project搞懂端到端落地现状
自动驾驶之心· 2025-12-12 11:02
行业招聘需求与技术趋势变化 - 自动驾驶行业招聘需求正发生变化,两年前热门的感知岗位需求进一步收缩 [2] - 当前行业需求较高的技术方向集中在端到端、视觉语言动作模型和世界模型等领域 [2] - 头部玩家已验证端到端技术路径可行,其他车企正跟进投入人力和资源,从模型、场景、数据优化到下游规划兜底进行布局 [2] - 市场面临合格候选人供给不足的挑战,候选人往往只精通部分技术栈,而相关岗位要求广泛的技术能力 [2] - 具体的量产经验,如导航信息引入、强化学习调优、轨迹建模及优化,是实际落地中的关键痛点和门道 [2] 课程核心定位与内容设计 - 课程名称为《面向量产的端到端实战小班课》,核心重点是聚焦量产应用 [2] - 课程设计历时三个月,包含七个实战项目,从实战到落地层层展开 [2] - 课程核心算法覆盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型结合强化学习、自回归结合强化学习、时空联合规划等 [2] - 课程最终会分享实际的量产经验,目标面向就业与直接落地 [2] - 课程采用小班制,目前仅剩20个招生名额 [2][4] 端到端技术架构演进与核心模块 - 在端到端时代,感知任务的合并与规控算法的学习化已成为绝对主流 [7] - 如何更高效合并感知任务及设计规控的学习化模块是各大公司的核心必备技能 [7] - 两段式端到端框架涉及感知与规划控制的建模及信息传递方式,有其特定优缺点 [8] - 一段式端到端框架可实现信息的无损传递,因此在性能上通常优于两段式方案,具体方法包括基于视觉语言动作模型和基于扩散模型的方法等 [9] - 导航信息在自动驾驶中起引导、选路、选道的关键作用,其地图格式、内容及在端到端模型中的编码与嵌入方式是重要课题 [10] 算法训练策略与量产保障方案 - 仅依靠模仿学习存在局限,因人类驾驶风格迥异且部分极端场景数据难采集,需结合强化学习以学习因果关系并实现泛化 [11] - 课程项目实战涵盖基于模仿学习的算法,并重点介绍基于扩散模型和自回归的算法,在监督微调后会继续讲解强化学习实战 [12] - 在量产落地阶段,为确保轨迹稳定可靠,需有后处理的兜底逻辑,例如通过轨迹平滑优化算法对模型直出结果进行优化 [13] - 时空联合规划是重要的兜底方案,涉及多模态轨迹打分搜索及轨迹平滑等算法 [13] - 量产经验分享将从数据、模型、场景、规则等多个视角,剖析如何选用合适工具和策略以快速提升系统能力边界 [14] 课程安排与学员要求 - 课程面向进阶学员,开课时间为11月30日,预计三个月结课,采用离线视频教学配合VIP群答疑及三次线上答疑的形式 [15] - 课程章节按计划解锁,例如第一章于11月30日解锁,第二章于12月7日解锁,后续章节按周或月间隔陆续开放 [16][18] - 学员需自备图形处理器,推荐算力在4090及以上 [17] - 学员需具备的基础知识包括:熟悉自动驾驶鸟瞰图感知、视觉Transformer、端到端等常见算法;掌握强化学习、扩散模型理论基础;具备一定的Python和PyTorch语言基础;熟悉mmdet3d算法框架;以及一定的高等数学、线性代数和矩阵论基础 [17]