Workflow
自动驾驶多模态大模型
icon
搜索文档
聚焦端到端的公司,越来越多了......
自动驾驶之心· 2026-01-25 18:07
行业技术趋势:端到端自动驾驶 - 端到端自动驾驶技术不再是头部玩家的特权,未进入该领域的车企和Tier 1供应商正在加速转型 [2] - 有资源的大型公司倾向于开发“一段式”端到端模型,而中小型公司则选择“两段式”模型作为切入点 [2] - 训练一个泛化性不错的“两段式”模型,目前公开信息显示大约需要200万Clips数据,训练资源需求相对友好,约为百卡规模 [2] - 训练“一段式”模型需要对标头部公司的千万Clips数据量,训练资源需求达到千卡规模 [2] - 行业当前关注的技术点包括:视觉语言模型/视觉语言大模型在车端/云端的作用、强化学习的损失权重配比、以及相关落地参考论文和未来预研方向 [2] - 行业探讨的具体问题包括:模仿学习/强化学习解决现有模块化方案难处理的场景、以及端到端中场景描述的必要性与潜在问题 [4] 社区与资源平台:“自动驾驶之心知识星球” - “自动驾驶之心知识星球”是一个综合性的自动驾驶技术社区,集视频、图文、学习路线、问答、求职交流于一体,目前已有近4500名成员,目标是在未来2年内达到近万人规模 [5][17] - 社区联合了学术界和工业界的专家,旨在降低行业入门壁垒,为初学者和进阶者提供交流与技术分享的聚集地 [5] - 社区内部梳理了超过40个自动驾驶技术方向的学习路线,并汇总了行业资源,包括近40个开源项目、近60个数据集以及主流仿真平台,以缩短成员的信息检索时间 [7][9][17] - 社区邀请了数十位活跃在一线产业界和学术界的嘉宾,为成员答疑解惑,并不定期举办直播分享,目前已举办超过一百场专业技术直播 [7][89] - 社区与多家自动驾驶公司建立了岗位内推机制,并提供自动驾驶相关工作岗位推荐与行业机会挖掘服务 [11][22] - 社区为成员提供了七大福利视频教程,内容涵盖世界模型、自动驾驶大模型、Transformer、3D目标检测、毫米波感知等多个前沿领域 [86] 技术方向与学习内容概览 - 社区覆盖的入门与基础学习资料包括:数学基础、计算机视觉、深度学习、编程、经典书籍与课程课件 [10] - 感知相关技术方向包括:BackBone网络、2D/3D目标检测与分割、鱼眼感知、车道线检测、深度估计、目标跟踪、BEV感知、Occupancy网络、在线高精地图、多传感器融合等 [10][18][52][54][56][58][59] - 规划控制与决策相关方向包括:轨迹预测、规划控制框架、基于搜索/采样/优化的规划方法、模型预测控制、强化学习等 [10][18][48][60][62] - 前沿模型与技术方向包括:端到端自动驾驶、视觉语言模型、视觉语言动作模型、扩散模型、世界模型、3D高斯泼溅、神经辐射场、大模型在自动驾驶中的应用等 [10][18][38][40][42][44][46][50][85] - 工程与落地实践方向包括:模型压缩与部署优化、CUDA编程、自动驾驶仿真、传感器标定、数据工程等 [10][18][65][69][71][81] - 社区整理了“自动驾驶100问”系列,内容涵盖TensorRT模型部署、毫米波雷达融合、车道线检测、规划控制面试、BEV感知、相机标定、3D&4D毫米波雷达等工程实践问题 [10]
死磕技术的自动驾驶黄埔军校,元旦大额优惠......
自动驾驶之心· 2025-12-30 17:20
文章核心观点 - 文章旨在推广“自动驾驶之心知识星球”社区,将其定位为国内首个自动驾驶全栈技术交流与学习平台 [22] - 社区致力于通过整合行业动态、技术资料、学习路线、专家资源和求职服务,降低学习与从业门槛,帮助成员应对行业高壁垒和内卷挑战 [6][8] - 社区已形成规模化运营,拥有超过4000名成员,并计划在未来2年内扩张至近万人规模 [8] 社区定位与规模 - 社区是集视频、图文、学习路线、问答、求职交流为一体的综合类自动驾驶社区 [8] - 社区成员已超过4000人,目标在未来2年内达到近万人规模 [8] - 社区成员背景多元,来自国内外知名高校(如上海交大、清华大学、CMU等)和头部公司(如蔚小理、地平线、华为、英伟达等) [22][23] 内容与资源体系 - 社区内部梳理了超过40个自动驾驶技术方向的学习路线 [10][13] - 汇总了近百个自动驾驶数据集、行业主流仿真平台及各类开源项目 [15][23] - 提供了从数学基础、编程、深度学习到具体技术领域(如感知、规划、VLA、世界模型)的完整学习资料与课程 [15][16] - 设有“自动驾驶100问”系列,涵盖TensorRT部署、毫米波雷达融合、车道线检测、规划控制、BEV感知、相机标定、4D毫米波雷达等专题 [15] 专家互动与活动 - 社区邀请了数十位活跃在产业界和学术界的嘉宾进行分享与答疑 [10] - 已举办超过一百场专业技术直播,内容涵盖VLA、世界模型、3D检测、规划算法、V2X等前沿话题 [94] - 定期与一线学术界和工业界大佬探讨自动驾驶发展趋势、技术走向与量产痛点 [11][100] 学习与课程服务 - 提供原创直播课程,涵盖感知融合、多传感器标定、SLAM、规划预测、数据工程、端到端自动驾驶及大模型等主题 [16] - 为入门者准备了全栈方向的学习课程,适合0基础小白 [15][16] - 为进阶者提供产业体系、项目方案和实战落地的内容 [18] 就业与行业服务 - 与多家自动驾驶公司建立岗位内推机制,可协助成员将简历直接投递至心仪公司 [16] - 社区内提供求职交流、offer建议、行业前景分析、公司选择及内推机会 [7][10][25] - 汇总了国内外自动驾驶公司及高校实验室信息,供成员求学、求职参考 [33][35]
世界模型和VLA正在逐渐走向融合统一
自动驾驶之心· 2025-12-11 11:35
文章核心观点 - 自动驾驶领域的技术路线正在融合,视觉语言模型与世界模型的结合是通往更强通用具身智能的关键方向 [3][4] - 自动驾驶之心知识星球是一个综合性的技术社区,旨在为行业人士提供学习、交流和求职的平台,已汇聚超过4000名成员 [10][28] 技术发展趋势 - 视觉语言模型与世界模型正走向融合统一,前者负责抽象推理,后者负责物理感知,结合是通往通用具身智能的答案 [3][4] - 学术界已有多个探索VLA与WM融合的工作,例如VLA-RFT、WorldVLA、Unified Vision-Language-Action Model以及DriveVLA-W0 [4] - 未来L4级自动驾驶的训练链路将是视觉语言模型、强化学习和世界模型三者的结合 [5] - 行业内的技术路线争论多与宣传口径有关,实际技术发展多有相互参考,未来结合形式仍需探索 [7] 知识星球社区概况 - 社区是一个集视频、图文、学习路线、问答、求职交流为一体的综合类自动驾驶社区 [10] - 社区成员超过4000人,目标在未来2年内发展到近万人规模 [10] - 社区成员背景多元,来自上海交大、北京大学、CMU、清华大学、蔚小理、地平线、华为等国内外顶尖高校和头部公司 [28] - 社区整理了近40个技术方向的学习路线,并邀请了数十位活跃在一线的产业界和学术界嘉宾进行分享和答疑 [12][16] 社区内容与资源 - 社区汇总了超过40个开源项目、近60个自动驾驶相关数据集以及行业主流仿真平台 [29] - 技术方向覆盖全面,包括但不限于:自动驾驶感知、规划控制、仿真、端到端学习、VLA、世界模型、多模态大模型、BEV感知、3D目标检测等 [17][29][36][39] - 提供“自动驾驶100问”系列实战内容,涵盖TensorRT模型部署、毫米波雷达融合、车道线检测、规划控制面试、BEV感知、相机标定等主题 [17] - 社区内部有专属学习视频教程,涵盖世界模型、自动驾驶大模型、Transformer、3D目标检测、毫米波感知等主题 [98] - 不定期举办线上直播分享,目前已超过一百场,由行业专家分享最新研究成果 [101] 社区提供的服务与支持 - 为初学者提供全栈方向的学习课程和完备的入门技术栈路线图 [18][24] - 为从业者提供产业体系、项目方案以及最新的学术与工业应用进展 [26][32] - 建立了与多家自动驾驶公司的岗位内推机制,可协助成员投递简历 [22] - 社区内部有活跃的问答交流,成员可就技术入门、学习路线、就业跳槽、研究方向选择等各类问题进行提问并获得解答 [13][32][103]
那些号称端到端包治百病的人,压根从来没做过PnC......
自动驾驶之心· 2025-09-17 07:33
端到端自动驾驶技术发展现状 - 国内新势力车企正在推进VLA(Vision-Language-Action)技术的落地和优化 而另一部分企业则聚焦WA(World Model)路线 更多车企和Tier1供应商仍处于端到端技术攻坚阶段[2] - 端到端系统通过输入传感器原始数据直接输出控制信号或自车轨迹 代表性算法包括UniAD和Sparse系列[3] - 端到端本质是实现感知信息的无损传递 解决模块化方法中人工定义感知结果无法覆盖开集场景的问题 目前工业界普遍采用模仿学习方法进行优化[4] 端到端技术挑战与行业共识 - 端到端系统虽提高性能上限但下限稳定性不足 实际落地仍需传统规控方法兜底 learning-based输出轨迹仍需经过传统PnC处理[5] - 行业共识是自动驾驶从规则驱动转向认知驱动 但端到端技术距离成熟仍有较长距离 需要更多时间沉淀[5] - 车企为突破感知模型迭代瓶颈 积极布局VLA和WA技术路线 但需理性看待端到端替代传统规控的局限性[5] 自动驾驶技术社区生态 - 自动驾驶之心知识星球社区规模已超4000人 覆盖超300家机构与自动驾驶公司 目标两年内达到近万人规模[8][102] - 社区整合40+技术方向学习路线 包括VLA、端到端、多模态大模型等前沿领域 并提供与一线产业界/学术界大佬的直接交流渠道[8][9][17] - 社区提供岗位内推机制 成员来自蔚小理、地平线、华为、英伟达等头部企业 以及国内外顶尖高校实验室[17] 技术资源体系 - 社区汇总近60+自动驾驶数据集 涵盖VLM预训练/微调/思维链/强化学习等类型 并整合3D目标检测/BEV感知/Occupancy等开源项目[37][53][55] - 提供七大福利视频教程 内容覆盖世界模型、自动驾驶大模型、Transformer等 已举办超百场专业技术直播[88][91] - 详细梳理端到端自动驾驶技术体系 包括一段式/二段式量产方案、VLA算法及里程碑方法 兼顾学术界与工业界需求[39][47]
想跳槽去具身,还在犹豫...
自动驾驶之心· 2025-09-13 00:03
自动驾驶技术方向与职业发展 - 研一学生在感知背景下面临端到端VLA、具身智能或自动驾驶方向选择 需考虑本科电子通信背景及2-3年后就业前景[1] - 行业关注智驾与具身智能的转换可行性 以及持续学习方向的发展潜力[2] - 技术转型涉及从基于规则到端到端的组织与人员调整过程[2] 行业领先企业与成功要素 - 新势力公司存在裁员情况[1] - 行业关注Momenta等智能驾驶企业的成功关键因素[2] - 传统主机厂如长安、东风、比亚迪、吉利、蔚来在智驾领域的发展受关注[2] 技术发展趋势与就业选择 - 行业讨论L2+L3与L4发展方向的前景比较[2] - 端到端VLA算法主机岗与L4 Robotaxi决策规划岗位的就业选择[2] - 感知迭代快速导致部分从业者考虑转向相对稳定的部署岗位[2] 关键技术应用与仿真 - 3DGS在自动驾驶和具身智能中的应用程度受关注[2] - 各家公司的闭环仿真发展状况被讨论[2] - 感知后处理与多目标融合技术仍具应用价值[2] 社区资源与学习体系 - 自动驾驶之心知识星球拥有超过4000名成员 覆盖近40+技术方向学习路线[5][8] - 社区提供端到端入门、多模态大模型、数据闭环工程实践等实用问题解答[5] - 与近300家机构及自动驾驶公司建立内推机制 提供岗位对接服务[11] 技术领域细分与资源整合 - 汇总国内外自动驾驶高校实验室及企业资源 包括RoboTaxi、重卡、新势力等领域[26] - 整理自动驾驶与CV相关书籍、开源项目及数据集 涵盖3D检测、BEV感知、世界模型等方向[27][28] - 端到端自动驾驶技术梳理兼顾学术界与工业界 包含一段式、二段式及量产方案[29] 前沿技术聚焦 - 3DGS与NeRF技术应用于自动驾驶场景重建与闭环仿真[30] - 自动驾驶世界模型作为学术界与工业界热点 涵盖技术前沿与业界应用[31] - 视觉语言模型(VLM)汇总最新综述、开源数据集及量产方案如DriveVLM[32][33] 量产技术与核心模块 - 自动驾驶VLA技术梳理涵盖2025年最新综述、开源数据集及量产讨论[34] - 在线高精地图作为无图NOA量产方案核心 受学术界与工业界重点关注[41] - BEV感知作为量产基石 覆盖纯视觉、多模态融合及工程部署方案[38] 行业活动与专家交流 - 社区举办超过100场专业技术直播 分享VLA、世界模型、3D检测等前沿工作[55] - 邀请学术界与工业界大佬探讨自动驾驶发展趋势及量产痛点[6] - 会员可获取独享福利视频教程 涵盖世界模型、自动驾驶大模型等技术领域[52]
4000人的自动驾驶社区,开学季招生了!!!
自动驾驶之心· 2025-09-02 11:14
社区定位与规模 - 社区定位为综合类自动驾驶技术交流平台,集视频、图文、学习路线、问答与求职交流于一体,已吸引超过4000名成员,目标在未来2年内达到近万人规模[3] - 社区成员主要来自头部自动驾驶公司、具身智能公司、互联网企业、Top高校实验室及传统机器人公司,形成工业界与学术界互补的生态结构[1] - 社区覆盖近40个前沿技术方向,包括多模态大模型、VLM、VLA、闭环仿真、世界模型、端到端自动驾驶等主流方法论[1][3] 技术资源体系 - 汇总近40+技术路线、近60+自动驾驶数据集、行业主流仿真平台及开源项目,涵盖感知、规划控制、仿真等核心领域[12][23][24][25] - 提供超过100场专业技术直播分享,内容涉及VLA、3D检测、扩散模型等前沿课题,并邀请学术界与工业界专家参与[52] - 整理完备的学习资料库,包括数学基础、计算机视觉、深度学习、编程、经典书籍与课程课件,适配从入门到进阶的学习需求[7][24] 就业与产业链接 - 与近300家机构及自动驾驶公司建立内推合作机制,提供岗位推荐与简历直推服务,覆盖蔚小理、华为、大疆、英伟达等头部企业[8][12][59] - 定期开展行业趋势讨论,聚焦技术走向与量产痛点,并提供企业前景分析、跳槽建议及博士研究方向指导[4][16][57] - 构建求职交流板块,涵盖岗位开放信息、内推渠道及产业机会挖掘,强化社区与产业实践的连接[8][16][59] 内容服务特色 - 提供快速技术答疑服务,针对端到端入门、VLA学习路线、多传感器融合就业前景等实用问题提供解决方案[3][4][16] - 独家梳理自动驾驶100问系列专题,包括TensorRT部署、毫米波雷达融合、车道线检测等工程实践关键问题[7] - 打造多维度学习路径,如感知学习路线、仿真学习路线、规划控制学习路线等,系统性降低学习检索成本[12][13]
死磕技术的自动驾驶黄埔军校,三年了~
自动驾驶之心· 2025-08-28 11:22
社区规模与愿景 - 自动驾驶之心知识星球是一个集视频、图文、学习路线、问答、求职交流为一体的综合类自驾社区 目前成员超过4000人 未来2年目标规模达到近万人[1] 技术资源覆盖 - 社区内部梳理了近40+自动驾驶技术路线 覆盖端到端自动驾驶、多模态大模型、VLA benchmark等热门方向[2][5] - 汇总近40+开源项目、近60+自动驾驶相关数据集以及行业主流仿真平台[13] - 包含国内高校著名自动驾驶团队整理、自动驾驶领域企业介绍、会议及数据集与标定工具等资源[6] 行业专家与交流 - 邀请数十位活跃在一线产业界和工业界的自动驾驶领域嘉宾 包括经常出现在顶会和访谈中的大佬[2] - 不定期与学术界和工业界大佬畅聊自动驾驶发展趋势 探讨技术走向和量产痛点[4][62] - 社区成员来自上海交大、北京大学、CMU、清华大学及蔚小理、地平线、华为等头部高校和企业[13] 学习路线与课程 - 提供全栈方向学习课程 非常适合0基础小白[7] - 详细梳理端到端自动驾驶学习路线 包括一段式/二段式量产方案应用[16][31] - 涵盖自动驾驶感知、仿真、规划控制学习路线 以及VLA、多模态大模型、3DGS等前沿技术[13][31][36] 求职与内推机制 - 与多家自动驾驶公司建立岗位内推机制 可第一时间将简历送至心仪公司[9] - 社区内部讨论涵盖职业规划、offer选择、实习建议等求职相关问题[61] - 汇总自动驾驶领域企业介绍及国内外各类自动驾驶相关机器人公司[24][28] 前沿技术讨论 - 端到端自动驾驶作为学术界和工业界研究热点 社区详细梳理相关算法、量产方案及数据集[31][63] - 聚焦视觉语言模型(VLM) 汇总最新综述、开源数据集及思维链推理等内容[34][35] - 覆盖扩散模型、世界模型、3D目标检测、多传感器融合等当前研究热点[38][40][42] 直播与专业分享 - 社区内部已举办超过一百场专业技术直播 邀请行业大佬分享最新工作[57] - 直播内容涵盖VLA模型、3D检测基础模型、扩散规划算法等前沿技术[57] - 会员可独享世界模型、自动驾驶大模型、Transformer等七大福利视频教程[54]