自动驾驶之心
搜索文档
每秒20万级点云成图,70米测量距离!这个3D扫描重建真的爱了!
自动驾驶之心· 2025-07-16 12:05
产品概述 - GeoScan S1是一款手持三维激光扫描仪,具有轻量化设计、一键启动和高性价比的特点,适用于多种作业领域[1] - 设备以多模态传感器融合算法为核心,实现厘米级精度的三维场景实时重构[1] - 产品由同济大学刘春教授团队和西北工业大学产业化团队合作开发,拥有多年科研和行业积累,经过上百个项目验证[4] 技术参数 - 扫描性能:每秒生成20万级点云,70米测量距离,360°全域覆盖,支持20万平米以上的大场景扫描[1][23] - 精度:相对精度优于3cm,绝对精度优于5cm[16] - 数据输出:支持pcd、las、ply等多种通用格式,可生成彩色点云[16] - 系统环境:运行Ubuntu 20.04,支持ROS[16] 硬件配置 - 传感器集成:包含3D激光雷达、9DOF IMU、双广角相机、深度相机等[7] - 计算单元:Intel N5095处理器,4核2.0GHz(睿频2.9G),16G内存/256G存储[16] - 同步模块:微秒级同步精度,最高800Hz频率[17] - 供电:88.8Wh电池容量,续航约3-4小时[16] 功能特点 - 实时建模:支持三维点云地图动态构建、色彩融合和实时预览[16] - 多传感器融合:结合相机、激光雷达、IMU、RTK数据[16] - 小倾角设计:激光雷达25°倾斜角度安装,提高采集效率[9] - 跨平台集成:适配无人机、无人车、机械狗等多种负载平台[38] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等复杂室内外场景[32] - 可用于地理信息数据采集、城市规划、文物保护等领域[46] - 支持3D高斯实景还原,选配模块可实现高保真实景还原[44] 价格信息 - 基础版本:19800元[51] - 深度相机版本:23800元[51] - 3DGS在线版本:39800元[51] - 3DGS离线版本:67800元[51]
自动驾驶之心求职辅导推出啦!1v1定制求职服务辅导~
自动驾驶之心· 2025-07-15 20:30
求职辅导服务 - 推出1v1定制求职辅导服务 目标人群为希望转型智能驾驶方向的应届生和职场人士 周期2个月左右 [2] - 课程特色以求职成功为导向 聚焦目标岗位 迅速补足短板 短时间内具备目标岗位所需知识和能力 [2] - 收费标准8000元/人 包含不低于10次线上1v1会议 每次不低于1小时 [4] - 基本服务包括8次答疑+1次面试前复盘+1次正式面试后复盘 [5] 服务内容 - 分析学员画像 评估知识结构和能力模型 找出与目标岗位差距 [8] - 制定全周期学习计划 提供相关学习资料包括文档和网络资源 [8] - 每周定期会议答疑 回顾学习进度并给出建议 其他时间可随时提问 [8] - 简历优化建议 提升与目标岗位匹配度 提供合适内推机会 [9] 进阶服务 - 项目实战 提供实际项目实践机会 可写入简历 补充费用3000元 [11] - 模拟面试 包含HR面试和业务面试 补充费用2000元 [11] 可辅导岗位 - 涵盖智能驾驶产品经理 系统工程师 算法 软开 测试工程师 [11] - 智能座舱产品经理 汽车智能化行业分析师等方向 [11] 师资力量 - 辅导老师为智驾行业专家 包括产品 架构 算法 测试 分析师等 [12] - 大多具备8年以上从业经验 就职于国内自驾独角兽和主机厂 [12] - 主导头部车企智能驾驶产品方案 熟悉供应商与整车厂方案 [13] - 参与早期多款车型座舱方案 10年算法/软件/测试实战经验 [13] - 对自驾行业有深度理解 输出过多篇重量级行业研究报告 [13]
多模态大模型强化学习训练框架 - EasyR1代码走读(GRPO)
自动驾驶之心· 2025-07-15 20:30
多模态强化学习框架EasyR1分析 - EasyR1是基于纯语言强化学习训练框架verl修改而来的多模态强化学习训练框架,支持Qwen2.5-VL等模型的微调 [1] - 框架采用GRPO算法进行训练,该算法不涉及Value Model,从而简化了训练流程 [45] - 代码仍在频繁更新中,文章分析的是2024年6月10日左右的代码版本 [1] 启动配置 - 启动脚本位于examples目录,通过python3 -m verl.trainer.main命令启动训练任务 [5] - 配置文件分为data、algorithm、worker和trainer四类配置项,参数可通过启动脚本覆盖 [6] - 数据配置包括训练集/验证集路径、prompt/answer/image键名、最大长度限制等参数 [9] 数据处理流程 - 数据集必须包含problem、answer和images三个key,支持json等多种格式 [40] - 数据加载使用datasets.load_dataset函数,支持本地文件和远程Hugging Face数据集 [41] - 图像处理支持<image>占位符,可拼接多张图片内容 [39] - prompt会通过jinjia模板进行格式化渲染,支持单轮问答场景 [38] 训练流程 - 训练分为init和fit两个阶段,fit阶段包含数据采样、奖励计算、优势估计和模型更新等步骤 [44] - GRPO算法中每个prompt会采样多条响应(n≥2),通过组内标准化计算优势 [81] - 训练使用KL散度约束模型更新,支持多种KL惩罚类型如low_var_kl等 [78] - 策略更新采用PPO算法,支持多epoch训练和梯度累积 [84] 性能优化 - 框架采用FSDP策略进行分布式训练,支持参数卸载以节省GPU内存 [16] - 数据在DP rank间进行平衡分配,确保每个rank获得相似数量的token [62] - 推理使用vLLM引擎,支持tensor并行和分块预填充等优化 [28] - 训练支持padding-free模式和Ulysses序列并行技术 [15]
蔚来,亮出了新的底牌。。。
自动驾驶之心· 2025-07-15 20:30
产品发布与市场反应 - 乐道L90开启预售,整车购买价格为27.99万元,超出市场预期[4] - BaaS方案价格19.39万元,现场反响热烈[6] - 发布会后蔚来美股股价大涨6.03%,收盘价3.690美元,成交额2.68亿美元[8][9] 产品设计与功能亮点 - 乐道L90为车长超5.1米的大型SUV,三排六座设计,空间表现突出[13][41] - 前备箱容积240L,支持电动开启和空气悬架自动降低10公分[15][17][43] - 车内配备35英寸AR-HUD、17英寸中控屏、17.3英寸吸顶屏及8英寸小屏[22][30][31] - 二排零重力座椅、可形成沙发床的设计及小冰箱(容纳12罐可乐)提升舒适性[24][26][32] - 三排空间宽敞,腿部余量一拳,两侧配备杯架和Type-C接口[35][39] 技术创新与性能 - 采用900V碳化硅电机,四驱版零百加速4.7秒,两驱版5.9秒[45] - 自研49合1热管理模块等技术创新节省空间,如前备箱通过集成化设计多出230L[43][45] - 百公里电耗14.5度,85度电池续航605km,支持换电体系(上千座换电站)[48] - 智能驾驶采用主视觉路线,配备30个感知硬件,支持城区领航辅助[48] 市场定位与用户评价 - 定价19.39万起,被视作30万内三排纯电SUV的标杆产品[12][50] - 国内外用户反响强烈,美国网友关注其高性价比与设计合规性[9][10]
一文尽览!近一年自动驾驶VLA优秀工作汇总~
自动驾驶之心· 2025-07-15 20:30
自动驾驶VLA技术进展 - 端到端自动驾驶成为主流范式,视觉-语言-动作(VLA)方法在学术界和工业界快速落地[2] - 理想、文远知行、小米、小鹏等主机厂正在大力尝试VLA技术的量产应用[2] - 2025年学术界和工业界涌现大量优秀工作,重点关注VLA落地可行性、扩散模型轨迹可靠性等问题[2] NavigScene技术突破 - 小鹏汽车提出NavigScene,解决局部传感器数据与全局导航信息的关键差距[2] - 开发三种互补方法:导航引导推理、导航引导偏好优化、导航引导VLA模型[2] - 实验显示显著提升感知、预测、规划和问答任务性能,实现超视距推理能力[2][6] - 在NuInstruct基准测试中,Qwen2.5-7B模型表现最佳,多项指标提升明显[5] AutoVLA创新框架 - UCLA提出AutoVLA,统一推理和动作生成的自回归模型[7] - 采用SFT+GRPO两阶段训练,在NAVSIM取得92.12 PDMS指标[9] - 在nuPlan、nuScenes等多个基准测试中展现竞争优势[8] - 实现自适应推理能力,可根据场景复杂度调整思维模式[12] ReCogDrive三阶段训练 - 华科与小米合作提出三阶段训练框架[13] - 收集2.3M高质量QA数据,通过预训练+模仿学习+强化学习流程[14] - 在NAVSIM基准达到89.6 PDMS,创下新SOTA记录[16] - 比之前最佳方法提升5.6 PDMS[16] 数据集与基准建设 - 清华AIR与博世发布Impromptu VLA数据集,包含80K+精选视频片段[17] - 理想汽车推出DriveAction基准,包含16,185个QA对,覆盖2610个驾驶场景[31] - 实验显示视觉和语言输入缺失会导致动作预测准确率下降3.3%-8.0%[31] - 基准建设被认为是行业未来重点发展方向[50] 技术趋势与挑战 - 思维链、空间理解成为标配技术,但车端必要性存疑[50] - 时序处理研究不足,与实际车端需求存在差距[50] - 轨迹输出形式分文本自回归和扩散模型两大路线[50] - 行业缺乏大规模自动驾驶预训练基座模型[50] - NAVSIM指标已逼近人类专家水平,验证技术可行性[50]
双非研究生,今年找工作有些迷茫。。。
自动驾驶之心· 2025-07-14 22:04
行业趋势与人才需求 - 自动驾驶和具身智能公司对人才要求较高,倾向于实力强、背景好的候选人 [3] - 大公司招聘需求集中在端到端、大模型、VLA、强化学习、3DGS等前沿方向 [4] - 机器人初创公司融资活跃,未来几年发展前景可观 [4] - 传统机器人技术仍是产品主线,但具身智能是最前沿方向 [5] 技术方向与就业建议 - 双非学生可转向机器人/具身智能领域,从事SLAM、ROS相关优化和集成工作 [4] - LV融合、无图、BEV感知等技术已应用但人才饱和 [4] - 深圳、杭州的机器人公司提供全面技术培养机会 [5] 前沿技术资源汇总 - 视觉大语言模型、世界模型、扩散模型和端到端自动驾驶是四大技术方向 [9] - 提供10个Awesome和综述资源链接,涵盖智能交通、AIGC、视觉语言模型等领域 [10] - 列出17个VLM预训练数据集,最大规模达12B图像-文本对(LAION5B) [17] - 汇总图像分类、文本检索、行为识别等评估数据集,如ImageNet-1k(1000类)、Kinetics700(700类) [18][20] 自动驾驶数据集与应用 - 覆盖2D/3D目标检测、语义分割、跟踪等任务,如NuScenes(2020年,多模态)、Waymo Open Dataset(2020年) [23] - 语言增强数据集支持视觉-语言导航、车辆检索等应用,如NuScenes-QA(2023年) [24] - 智能交通领域方法聚焦语言引导的车辆检索和视觉问答 [25] - 自动驾驶感知技术包括语言引导的3D检测、开放词汇分割(如OpenScene) [26] 世界模型与扩散模型 - 世界模型研究集中在3D场景理解和生成,如HERMES(2025年)、DriveGPT(2024年) [32][33] - 扩散模型在自动驾驶中用于视频生成(如DriveDreamer)、数据增强(如Cityscape-Adverse) [35][41] - 汇总19篇扩散模型综述,涉及3D视觉、推荐系统等方向 [35][38][39] 端到端自动驾驶 - 开源仓库跟踪E2E最新研究,如opendilab/awesome-end-to-end-autonomous-driving [43][47] - 方法融合多模态感知与规划,如DriveGPT4(2023年)、VADv2(概率规划) [47][50] - 研讨会覆盖CVPR、ICRA等会议,探讨基础模型与规模化应用 [48] - 长尾分布问题通过对抗训练(如CAT)、场景生成(如KING)解决 [53][58]
VLA盛行的时代,为什么这家公司坚持量产非端到端方案?
自动驾驶之心· 2025-07-14 19:54
公司战略与技术路线 - 公司早期采用低成本方案和模块化技术路线,未大规模投入端到端解决方案[1] - 现有规则方案已满足多数稳定场景需求,主机厂偏好兼容现有生态的模块化方案[1] - 模块化方案依赖规则+小数据量调整适配区域差异,训练数据需求远低于端到端方案[1] - 公司主力方案采用多感知+预测两阶段技术架构(map、od、occ等)[1] 行业现状与挑战 - 多数tier1供应商因端到端方案未验证显著优势,短期内坚持现有量产方案[1] - 端到端方案面临海量高质量数据训练需求,量产规模不足导致研发成本高企[1] - 模块化方案凭借早期数据积累和供应链稳定性,仍是行业主流低成本选择[1] - 新势力车企自研自产模式与供应商量产模式存在成本与风险差异[1] 研发投入与商业化 - 公司持续尝试控制端到端及大模型方案的成本,但高阶研发迭代费用高昂[1] - 量产规模限制导致新技术商业化风险显著,与模块化方案形成成本剪刀差[1]
现在自动驾驶领域的行情怎么样了?都有哪些方案?
自动驾驶之心· 2025-07-14 19:30
自动驾驶产业概况 - 自动驾驶分级与应用涵盖行车、泊车、座舱、V2X等主要功能 [1] - 核心系统由芯片、软件、传感器构成 [3] 技术趋势 - 传统自动驾驶pipeline仍为主流方案之一 [5] - 新兴技术包括端到端自动驾驶、VLM方案、VLA方案 [6][7] 主机厂与供应商格局 - 新势力主机厂包括小鹏、理想、蔚来、华为、极氪、小米等 [7] - 老牌车厂涵盖比亚迪、吉利、长安、奇瑞等 外企包括奔驰、大众、现代 [7] - 上市供应商有地平线、小马智行、黑芝麻智能等 未上市企业含momenta、轻舟智行等 [8] 职位与技术方向 - 传统方案涉及定位建图(NERF、splatting)、感知层次(BEV算法、OCC)、后融合技术 [8] - 新方案聚焦端到端算法、扩散模型、强化学习、VLA/VLM算法及数据闭环工程 [8] 行业资源与求职服务 - AutoRobo求职星球提供面试题库(如毫米波视觉融合一百问、BEV感知一百问)、行业研报(人形机器人量产研报)、面经复盘(覆盖滴滴、英伟达等企业案例) [16][17][26][27] - 附加服务包括谈薪技巧、简历优化、内推资源及专业书籍推荐 [28][29] 市场参与者动态 - 大厂布局自动驾驶领域包括百度、滴滴、京东 其他玩家含商汤绝影、毫末智行等 [8] - 技术细分领域覆盖多传感器标定、3D目标检测、CUDA部署等实战方向 [17]
自动驾驶圆桌论坛 | 聊聊自动驾驶上半年都发生了啥?
自动驾驶之心· 2025-07-14 19:30
技术路线与量产现状 - BEV感知方案已成为行业主流量产选择 完全替代传统单目/双目检测方案 但在corner case(如非结构化道路、复杂路口)上仍有明显短板 [11][36] - 特斯拉引领的纯视觉BEV+Occ环境建模方式已获行业验证 但3DGS等新型表征方式正在探索中 [2][52] - 端到端方案(E2E)尚未展现显著优势 数据收集难度和训练成本高于传统两阶段模型 目前更多停留在PR层面 [4][48] 新兴技术方向 - VLA/VLM成为2025年焦点技术 通过语言模型提升corner case处理能力 但存在落地真实性存疑、学术界与工业界数据壁垒等问题 [5][20][45] - 扩散模型在轨迹生成中展现多模态优势 但实时性仍是量产挑战 CVPR2025的DiffusionDrive已取得进展 [17][39] - 世界模型主要应用于仿真数据生成 预训练和端侧推理仍待突破 部分厂商宣传存在夸大 [50][52] - 强化学习受限于仿真精度与安全性要求 在自动驾驶领域尚未规模化应用 但长期潜力被看好 [7][47][51] 行业痛点与突破方向 - 长尾场景处理需解决三大核心问题:VLA在corner case的实证数据不足、车端算力与模型效率的平衡、模仿学习的天花板突破 [5][6][7] - 数据闭环能力成为竞争关键 需构建自动化标注+仿真验证的高效流水线 头部企业已布局AI驱动的数据运营体系 [28][33] - 芯片算力限制导致技术分层:Orin-X支持多模态LLM处理复杂城区场景 而J6M等中低端芯片仅能支撑纯视觉高速NOA [40][45] 未来趋势与竞争格局 - 技术路线呈现分化:L2+方案侧重VLA泛化性提升 L4方案聚焦世界模型构建安全验证体系 [25] - 3D高斯与毫米波雷达应用被忽视 前者可发展为世界模型表征 后者存在技术空白 [52] - 行业进入"智驾平权"阶段 地平线征程6等芯片推动辅助驾驶普及 但平价车型仍受限于corner case处理能力 [36][39] - 中心化智能成为长期方向 从单车智能向V2X+云端协同演进 [47] 技术迁移与跨领域应用 - 自动驾驶与具身智能技术高度互通 VLA时代下两者在安全场景与灵活场景形成互补 [33] - 舱驾一体化成为新探索方向 结合语音与OS系统提升用户体验 [43] - 知识体系需保持可迁移性 避免过度专业化导致转行障碍 [52]
小鹏最新!NavigScene:全局导航实现超视距自动驾驶VLA(ACMMM'25)
自动驾驶之心· 2025-07-14 19:30
自动驾驶技术突破 - 小鹏汽车团队提出NavigScene解决方案,通过连接局部感知和全局导航信息弥补自动驾驶系统关键差距,实现超视距推理能力[2] - NavigScene包含两个子集:NavigScene-nuScenes和NavigScene-NAVSIM,通过自然语言指令模拟人类驾驶环境,整合Google Maps等导航工具的BVR(超视距)信息[9][14] - 系统采用三种创新方法:导航引导推理(NSFT)、导航引导偏好优化(NPO)和导航引导视觉-语言-动作模型(NVLA),显著提升感知、预测和规划任务性能[10][12] 技术实现细节 - 视觉生成模块利用Google Maps API合成导航视频,通过Direction API获取路线、Static Map API采集连续图像,Distance Matrix API计算行驶数据[16] - 文本生成采用三重相似度指标(交叉路口相似度Sinter、距离相似度Sdist、词汇相似度Sword)选择最优导航描述,权重分配体现方向准确性优先原则[18] - NVLA模型通过可学习MLP解决VLM高维输出(如LlamaAdapter的32,000维)与BEV特征(典型256维)的维度不匹配问题,实现特征融合[28][29] 性能验证数据 - 问答任务中,整合NavigScene的VLMs在BLEU-4、METEOR等指标全面提升,Qwen2.5-7B表现最佳(BLEU-4从51.65提升至55.13)[32][47] - 端到端驾驶测试显示,SparseDrive模型整合Qwen2.5-7B后检测mAP提升0.04,闭环规划中DAC指标达96%,优于基线系统84.2%[40][41] - 跨城市泛化实验证明,NPO技术使波士顿→新加坡场景的平均碰撞率从26.83%降至22.55%,显著增强陌生环境适应能力[55] 行业应用前景 - 技术方案已覆盖感知(3D检测、BEV)、预测(轨迹分析)、规划(闭环控制)全链条,形成30+技术栈的完整学习体系[65] - VLA/VLM算法工程师岗位需求激增,顶尖企业为博士人才提供90-120K薪资,反映技术商业化加速[64] - 行业社区规模达4000人,涵盖300+企业与科研机构,显示技术生态快速扩张[65]