Workflow
VLA
icon
搜索文档
新势力提前批,跪了。。。
自动驾驶之心· 2025-08-06 19:25
自动驾驶行业研究 - 自动驾驶行业正处于快速发展阶段,涉及多个技术方向如BEV感知、VLA、端到端自动驾驶等[23][30][41] - 行业技术热点包括3DGS与NeRF场景重建、世界模型、视觉语言模型(VLM)等前沿领域[43][45][47] - 主流技术路线涵盖感知融合、规划控制、仿真测试等多个环节[23][30] 自动驾驶技术方向 - BEV感知已成为量产方案基石,包含纯视觉和多模态方案[54] - 端到端自动驾驶包含一段式、二段式及量产方案[41] - 3D目标检测技术路线包括激光点云、单目/双目及多模态方法[56] - 多传感器融合技术包含强融合、弱融合和后融合方案[58] 行业资源与生态 - 自动驾驶领域拥有近60+数据集,涵盖感知、预测、强化学习等方向[39] - 行业主流仿真平台包括Carla、Apollo、Autoware等[23][82] - 开源项目覆盖3D检测、BEV感知、大模型应用等40+方向[37] 企业布局与人才需求 - 头部企业包括蔚小理、地平线、华为、大疆等[23][33] - 企业面试注重候选人技术深度及非技术能力如沟通、学习能力等[4][5][6][7] - 行业建立内推机制,提供岗位对接服务[13][21] 技术发展趋势 - VLA(视觉语言动作)成为2025年重点方向[49] - 扩散模型应用于数据生成、场景重建等领域[52] - 在线高精地图是无图NOA方案核心[60] - 强化学习是VLM必备组件[63]
自动驾驶秋招&社招求职群成立了!
自动驾驶之心· 2025-08-05 07:33
自动驾驶技术趋势 - 自动驾驶技术栈呈现趋同态势,从过去分散的几十个方向逐渐向统一方案演进 [1] - 当前技术发展重点集中在one model、VLM(视觉语言模型)、VLA(视觉语言行动模型)等统一架构 [1] - 技术方案统一化背后反映出行业技术壁垒的显著提升 [1] 行业社群发展 - 行业社群定位为综合型平台,旨在汇集自动驾驶全产业链人才 [1] - 社群主要功能包括产业动态讨论、公司分析、产品研发交流、求职与职业发展等内容 [1] - 社群运营目标是通过资源共享帮助从业者成长,并建立行业人脉网络 [1]
开课倒计时!国内首个自动驾驶端到端项目级教程来啦~
自动驾驶之心· 2025-08-02 14:00
端到端自动驾驶行业现状 - 端到端自动驾驶已成为国内主流新能源主机厂技术竞争的核心领域 自去年E2E+VLM双系统架构成功以来 行业加速迭代 今年上半年VLA概念进一步推动量产方案升级 [2] - 行业人才需求旺盛 3-5年经验的VLM/VLA岗位年薪达百万 月薪高达80K 校招/社招转岗需求激增 [2] - 技术流派分化明显 包括以PLUTO为代表的二段式端到端 以UniAD为代表的一段式端到端 以及基于世界模型/扩散模型/VLA的新兴流派 [4] 技术流派分类与特点 - **二段式端到端**:通过模型实现自车规划 代表工作包括港科技PLUTO 浙大CarPlanner(CVPR'25) 中科院Plan-R1 相比一段式具有明确规划模块优势 [4][20] - **一段式端到端**: - 基于感知的方法:UniAD持续迭代 地平线VAD和CVPR'24的PARA-Drive推动性能提升 [21] - 基于世界模型的方法:AAAI'25的Drive-OccWorld和复旦OccLLaMA拓展场景生成与闭环仿真应用 [21] - 基于扩散模型的方法:DiffusionDrive/Diffusion Planner/吉大DiffE2E实现多模轨迹预测 适应环境不确定性 [21] - 基于VLA的方法:小米ORION 慕尼黑工大OpenDriveVLA 最新ReCogDrive代表大模型时代技术前沿 [21] 核心技术栈与学习路径 - 必备技术包括大语言模型 BEV感知 扩散模型理论 强化学习与RLHF DEEPSEEK优化技术等 构成未来两年求职高频考点 [6][22] - 学习难点在于多领域知识融合(多模态大模型/BEV/强化学习/视觉Transformer/扩散模型) 论文碎片化 缺乏实战闭环指导 [12][13] - 行业推出《端到端与VLA自动驾驶小班课》 采用Just-in-Time Learning理念 覆盖技术框架构建(第二章) 二段式(第三章) 一段式与VLA(第四章) 及RLHF微调实战(第五章) [14][15][16][21][23] 职业发展前景 - VLA/VLM大模型算法专家岗位3-5年经验硕士薪资达40-70K·15薪 博士应届生可达90-120K·16薪 实习生日薪220-400元 [11] - 职业路径包括算法岗技能深化 或转型自动驾驶大模型工程师 需掌握VLM/VLA多模态 模型量化部署等核心技术 [9][10] - 课程目标使学员达到1年经验算法工程师水平 可复现扩散模型/VLA框架 应用于实习/校招/社招场景 [28] 课程体系设计 - 第一章梳理端到端发展历史 对比模块化/一段式/二段式/VLA范式优缺点 分析学术与工业界动态 [19] - 第二章重点突破背景知识 包括Transformer扩展至视觉Transformer CLIP/LLAVA多模态基础 BEV感知实现3D检测/车道线/OCC等核心功能 [22] - 实战环节配置Diffusion Planner和小米ORION开源项目 结合RLHF微调大作业强化工程能力 [21][23] - 课程周期3个月 8月15日开课 分阶段解锁章节 需自备4090及以上GPU算力 要求具备Transformer/BEV/强化学习基础概念 [28]
自动驾驶之心技术交流群来啦!
自动驾驶之心· 2025-07-29 15:53
自动驾驶技术交流平台 - 公司是国内领先的自动驾驶技术交流平台 专注于自动驾驶产业 学术与职场成长等领域 [1] - 平台提供技术交流群 涵盖大模型 端到端 VLA BEV感知 多模态感知等前沿技术方向 [1] - 交流范围包括感知 规划控制 仿真测试 硬件配置等自动驾驶全产业链环节 [1] - 平台面向企业 高校研究人员开放 需提供公司/学校 昵称和研究方向信息加入 [1]
秋招正当时!自动驾驶之心求职交流群来啦~
自动驾驶之心· 2025-07-28 11:15
行业趋势与人才需求 - 自动驾驶技术栈呈现趋同态势 传统分散的算法工程师需求正被统一技术方案取代 如one model、VLM、VLA等方向 [1] - 行业技术壁垒显著提升 统一方案推动对高阶技术人才的需求 [1] - 从业者普遍存在转型需求 包括传统规控转向大模型、具身智能等新兴领域 [1] 社群运营与行业资源 - 社群定位为综合型行业平台 聚焦自动驾驶产业讨论 涵盖公司动态、产品研发及求职跳槽等核心议题 [1] - 社群目标为整合全行业人才资源 通过交流促进成员职业发展 [1] - 提供产业信息第一手渠道 强化行业人脉网络建设 [1] 人才流动特征 - 校招群体面临实习限制与算力资源短缺等结构性困境 [1] - 资深从业者主动寻求技术方向转型 反映行业技术迭代加速 [1]
传统感知和规控,打算转端到端VLA了...
自动驾驶之心· 2025-07-28 11:15
端到端VLA技术发展现状 - 端到端自动驾驶技术分为一段式与二段式两大方向 一段式包括基于感知(UniAD)、世界模型(OccWorld)、扩散模型(DiffusionDrive)等子领域 二段式以PLUTO为代表 [2] - 基于VLM的方法推动自动驾驶进入大模型时代 形成VLA(Vision-Language-Action)新方向 传统BEV感知、多传感器融合等技术已相对成熟 学术界研究热点明显转移 [2] - 工业界仍在优化传统感知规划方案 但学术界研究资源已集中投向大模型与VLA领域 该领域存在大量待探索的子方向 [2] VLA科研辅导课程设计 - 课程采用"2+1"多师制 主导师由名校教授/行业专家担任 配备科研班主任全程督导 包含12周在线科研+2周论文指导+10周维护期 [11][14] - 提供完整科研闭环支持:从经典/前沿论文分析(PLUTO/UniAD等)、baseline代码(VAD/DiffusionDrive等开源项目)、数据集(nuScenes/Waymo)到论文写作投稿全流程 [8][18] - 硬件要求最低配置4张NVIDIA 4090显卡 推荐8张 支持云服务器租赁方案 [12] 目标学员与课程产出 - 面向本硕博学生 需掌握Python/PyTorch基础 通过1v1面试考核 课程包含先修课强化深度学习与自动驾驶算法基础 [6][12] - 学员将获得:论文初稿(含导师定制idea)、结业证书、推荐信(优秀者) 以及系统的科研方法论与coding能力提升 [11][15] - 解决三大核心痛点:知识碎片化问题(建立VLA体系)、动手能力差问题(复现SOTA模型)、论文写作障碍(提供写作模板与投稿策略) [7] 技术资源支持 - 开源框架覆盖主流技术路线:基于模仿学习(UniAD/VAD)、扩散模型(DiffusionDrive/OccNet)、VLA(OpenDriveVLA/SimLingo)等 [18] - 必读论文包括Senna(视觉语言模型与自动驾驶桥接)、ORION(语言指令生成行动框架)等5篇顶会前沿研究 [18] - 采用腾讯会议直播+小鹅通回放形式 提供6个月答疑周期 严格学术诚信要求(剽窃零容忍) [14][20][21]
从端到端到VLA,自动驾驶量产开始往这个方向发展...
自动驾驶之心· 2025-07-26 21:30
端到端自动驾驶行业现状 - 端到端自动驾驶已成为国内主流新能源主机厂抢占的技术高地,E2E+VLM双系统架构去年取得成功后,VLA概念在2024年上半年掀起新一轮量产方案迭代[2] - 行业对端到端技术人才需求旺盛,3-5年经验的VLM/VLA岗位年薪高达百万,月薪达70K[2] - 学术界和工业界聚焦端到端技术,但存在技术流派分化问题,包括UniAD、PLUTO、OccWorld、DiffusionDrive等多种算法方案[2][7] 端到端技术发展特点 - 技术演进快速,2023年的工业级端到端算法方案已不适应2024年环境,需掌握多模态大模型、BEV感知、强化学习等跨领域知识[3] - 技术栈呈现多元化发展,包括基于感知的一段式(UniAD)、基于世界模型的一段式(OccWorld)、基于扩散模型的一段式(DiffusionDrive)以及VLA方向[7][11] - 学习门槛较高,存在论文数量繁多(年新增数百篇)、知识碎片化、缺乏高质量文档等挑战[3] 端到端课程核心内容 - 课程覆盖五大技术模块:端到端算法介绍、背景知识、二段式端到端、一段式端到端与VLA、RLHF微调实战[9][10][11][13] - 重点技术包括:PLUTO二段式架构(CVPR'25 CarPlanner)、UniAD感知方案(CVPR'24 PARA-Drive)、世界模型(AAAI'25 Drive-OccWorld)、扩散模型(DiffE2E)、VLA(小米ORION)[7][10][11] - 实战环节包含Diffusion Planner代码复现和ORION开源模块应用,目标实现工业级算法落地[11][13] 行业技术趋势 - VLA成为端到端自动驾驶的"皇冠技术",小米ORION、慕尼黑工大OpenDriveVLA等方案显示大模型与自动驾驶的深度结合[11] - 扩散模型在轨迹预测领域取得突破,DiffusionDrive等方案实现多模轨迹输出,适应自动驾驶不确定性环境[7][11] - 世界模型技术应用扩展,Drive-OccWorld等方案同时支持场景生成、端到端控制和闭环仿真[11] 人才能力要求 - 需构建跨领域知识体系,包括视觉Transformer(CLIP/LLaVA)、BEV感知(3D检测/车道线/OCC)、扩散模型理论、VLM强化学习(RLHF/GRPO)[12] - 工程能力要求涵盖PyTorch框架、GPU计算(推荐RTX4090)、数学基础(概率论/线性代数)及算法复现能力[20] - 职业发展目标为1年经验端到端算法工程师水平,具备技术框架设计能力和项目落地经验[20]
传统的感知被嫌弃,VLA逐渐成为新秀......
自动驾驶之心· 2025-07-25 16:17
端到端自动驾驶技术发展 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向 [1] - 二段式端到端以PLUTO为代表,专注于模型实现自车规划 [1] - 一段式端到端包括UniAD(基于感知)、OccWorld(基于世界模型)、DiffusionDrive(基于扩散模型)等不同流派 [1] - 基于VLM的方法推动自动驾驶VLA方向,开启大模型时代下的端到端研究 [1] - 传统BEV感知、车道线、Occupancy等研究方向在顶会中逐渐减少 [1] 学术界与工业界研究方向差异 - 工业界仍在优化传统感知、规划方案 [1] - 学术界转向大模型与VLA方向,为新兴研究领域 [1] - 新领域对初学者门槛较高,仅少数科研强者可独立产出 [1] - 论文研究方向建议优先考虑大模型、VLA领域 [1] VLA科研论文辅导课题 - 课程目标包括系统掌握VLA理论体系、提升动手能力、论文写作与投稿方法 [6] - 招生对象涵盖本硕博学生、留学申请者、自动驾驶从业者等 [7] - 课程收获包括经典与前沿论文分析、创新点挖掘、实验方法、写作投稿技巧 [8] - 硬件要求最低4张4090显卡,建议8张或租赁云服务器 [11] - 基础要求包括Python、PyTorch、Linux开发能力 [11] 课程结构与支持 - 12周在线科研+2周论文指导+10周维护期 [10] - 提供导师定制idea、baseline代码、数据集支持 [10][14][15] - 采用"2+1"多师制,含主导师与班主任全程跟踪 [13] - 学习阶段包括基础测试、个性化教学、学术回顾等 [13] - 产出包括论文初稿、结业证书、推荐信(优秀学员) [13] 学习资源与安排 - 提供开源代码库(UniAD、DiffusionDrive、OpenDriveVLA等) [14] - 必读论文涵盖VLA模型综述、Senna、SimLingo等前沿研究 [16] - 数据集采用nuScenes、Waymo、Argoverse等公开资源 [15] - 学习要求包括课前阅读、按时作业、全勤参与、学术诚信 [13]
70K?端到端VLA现在这么吃香!?
自动驾驶之心· 2025-07-21 19:18
端到端自动驾驶技术发展 - 端到端自动驾驶已成为国内主流新能源主机厂抢占的技术高地 上半年VLA概念掀起新一轮量产方案迭代 [2] - 行业薪资水平显示:3-5年经验的VLM/VLA算法专家年薪达百万 月薪高达70K [2] - 技术流派分化明显:二段式端到端以PLUTO为代表 一段式分为感知型(UniAD)、世界模型型(OccWorld)、扩散模型型(DiffusionDrive)等四大方向 [4] 技术流派与前沿进展 - 二段式端到端聚焦模型自车规划 包含港科技PLUTO、浙大CarPlanner(CVPR'25)、中科院Plan-R1等代表性工作 [7][22] - 一段式端到端四大子领域: - 感知型:UniAD为奠基作 地平线VAD和CVPR'24的PARA-Drive为最新进展 [23] - 世界模型型:AAAI'25的Drive-OccWorld和复旦OccLLaMA实现场景生成/端到端/闭环仿真多应用 [23] - 扩散模型型:DiffusionDrive开创多模轨迹时代 吉大DiffE2E为最新成果 [23] - VLA型:小米ORION、慕尼黑工大OpenDriveVLA和ReCogDrive代表大模型时代技术方向 [23] 行业人才需求 - VLA/VLM算法专家岗位需求旺盛: - 3-5年经验硕士薪资40-70K·15薪 [10] - 多模态方向博士应届生可达90-120K·16薪 [10] - 模型量化部署工程师1-3年经验薪资40-60K·15薪 [10] - 技术能力要求涵盖大语言模型 BEV感知 扩散模型 强化学习与RLHF等跨领域知识 [7][15] 技术培训体系 - 课程体系覆盖五大模块: - 端到端发展历史与VLA范式演变 [21] - 核心技术栈包括Transformer/CLIP/LLAVA/BEV感知/扩散模型理论 [24] - 二段式与一段式技术对比及工业落地 [22][23] - RLHF微调实战与大模型强化学习应用 [25] - 教学采用Just-in-Time Learning理念 三个月完成从理论到实践的闭环训练 [16][17][18][30] 技术门槛与挑战 - 学习路径需同时掌握多模态大模型 BEV感知 视觉Transformer 扩散模型等六大技术领域 [15] - 论文数量繁多且知识碎片化 高质量文档稀缺导致入门难度高 [15] - 硬件要求需配备4090及以上算力GPU 需具备Transformer和PyTorch基础 [32]
端到端VLA这薪资,让我心动了。。。
自动驾驶之心· 2025-07-17 19:10
端到端自动驾驶技术发展 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向 自UniAD获得CVPR Best Paper后 国内智驾军备竞赛加速 理想汽车2024年宣布E2E+VLM双系统架构量产 [2] - 端到端技术通过传感器数据直接输出规划或控制信息 避免了模块化方法的误差累积 BEV感知和UniAD统一了感知与规划任务 推动技术跃迁 [2] - 当前技术发展出多分支 包括基于感知的UniAD 基于世界模型的OccWorld 基于扩散模型的DiffusionDrive 以及大模型驱动的VLA方向 [9] 技术挑战与行业需求 - 端到端技术需掌握多模态大模型 BEV感知 强化学习 视觉Transformer 扩散模型等跨领域知识 学习路径复杂且论文碎片化 [5] - VLM/VLA成为招聘刚需 3-5年经验可冲击百万年薪 小米ORION等VLA项目推动行业预研热潮 [2][20] - 学术界与工业界持续探索技术边界 但高质量文档缺失 实战指导不足 影响技术落地效率 [5][26] 课程核心内容设计 - 课程覆盖端到端发展史 技术范式比较 数据集评测等基础内容 重点解析BEV感知 扩散模型 VLM等背景知识 [11][12] - 二段式端到端章节分析PLUTO CarPlanner等经典算法 对比一段式方案的优缺点 [12] - 精华章节聚焦一段式端到端 详解UniAD PARA-Drive OccLLaMA DiffusionDrive等前沿工作 配套Diffusion Planner实战 [13][15][17] - VLA方向选取ORION OpenDriveVLA等案例 结合BEV 扩散模型 强化学习技术展开实战 [20] 技术框架与实战应用 - 课程构建端到端技术框架 帮助学员分类论文 提取创新点 形成研究体系 [7] - 实战环节包括Diffusion Planner代码复现 RLHF微调大作业 目标为达到1年算法工程师水平 [17][22][27] - 技术栈覆盖Transformer CLIP LLAVA等基础模型 强化学习RLHF GRPO等进阶方法 [18] 行业影响与人才需求 - 端到端技术推动自动驾驶量产方案革新 主机厂加速布局算法预研与交付 [23] - 课程面向具备自动驾驶基础及Python/PyTorch能力者 目标匹配企业实习 校招 社招需求 [24][27] - 技术掌握后可应用于场景生成 闭环仿真 多模轨迹预测等实际场景 提升工业落地能力 [15][17]