自动驾驶之心

搜索文档
超越SOTA近40%!西交I2-World:超强OCC世界模型实现3G训练显存37 FPS推理~
自动驾驶之心· 2025-07-16 19:11
核心观点 - 西安交通大学团队提出I2-World框架,在4D OCC世界模型预测任务中实现SOTA性能,mIoU和IoU分别比现有方法提升25 1%和36 9% [1][9] - 该框架采用创新的I2-Scene Tokenizer解耦场景内/间分词化,结合I2-Former编码器-解码器架构,在保持3D分词器计算效率的同时实现4D时间建模能力 [5][7] - 系统计算效率突出:训练显存仅需2 9GB,推理速度达37FPS,显著优于依赖大语言模型或扩散模型的现有方案 [9][28] 技术架构 I2-Scene Tokenizer - 采用双分词器设计:场景内分词器通过多尺度残差量化保留空间细节,场景间分词器通过内存队列建模时间动态 [5][14] - 与传统单阶段分词器相比,仅增加轻量级卷积层即可实现性能提升,特征图压缩率与3D分词器相当但保留4D动态 [15][16] - 训练采用VAE流程,损失函数包含加权焦点损失、Lovasz损失和向量量化损失,仅监督场景内分词化以稳定训练 [12][18] I2-Former架构 - 突破传统GPT式自回归模型,采用编码器-解码器设计:场景内编码器通过交叉注意力聚合空间上下文,场景间解码器维护历史标记队列保证时间一致性 [6][19] - 引入变换矩阵作为条件信号,将场景状态映射到下一时间步,支持通过自车动作嵌入进行精细控制 [6][21] - 训练损失包含特征级MSE损失和变换矩阵分解监督,对不同预测帧施加差异化权重 [23] 性能表现 基准测试 - 在Occ3D-nuScenes数据集上,I2-World-O变体mIoU达39 73%,IoU达49 8%,分别超越前SOTA方法25 1%和36 9% [28] - 端到端I2-World-STC变体在mIoU指标上比OccWorld-STC提升50 9%,验证框架在相机输入场景的适应性 [28] - Waymo数据集零样本测试显示,在10Hz采样率下mIoU达43 73%,2Hz下仍保持36 38%,展现强泛化能力 [30][31] 效率指标 - 训练内存消耗仅2 9GB,较UniScene等方案降低60%以上,推理速度37FPS满足实时性要求 [9][28] - 消融实验显示,完整架构比无条件基线提升mIoU 22 61个百分点,而GPU内存仅增加1 11GB [36] 应用价值 - 变换矩阵设计支持双重控制策略:高层通过速度/转向命令控制轨迹,底层直接操作空间变换矩阵实现米级精度生成 [24][40] - 可视化验证显示在复杂交互场景中能准确仿真移动目标运动,如右转命令引发的卡车碰撞场景 [38][40] - 在Occ3D-Waymo的自动标注测试中性能显著优于复制粘贴基线,展现工业落地潜力 [31]
ICML'25 | 统一多模态3D全景分割:图像与LiDAR如何对齐和互补?
自动驾驶之心· 2025-07-16 19:11
核心观点 - 提出IAL(Image-Assists-LiDAR)方法,实现高效的多模态3D全景分割,通过激光雷达与相机图像的互补优势提升检测精度 [2] - IAL在nuScenes和SemanticKITTI数据集上达到SOTA性能,PQ指标最高提升5.1%,刷新户外3D全景分割纪录 [7][16] - 核心技术突破包括PieAug模态同步增强、GTF精准特征融合和PQG三重查询生成机制 [4][7] 方法创新 PieAug模态同步增强 - 首创通用LiDAR与图像数据同步增强范式,解决传统方法因单模态增强导致的多模态不对齐问题 [9] - 采用"切蛋糕"策略将场景切割为扇形切片,通过实例级和场景级混合增强实现跨模态对齐 [9] - 兼容现有LaserMix/PolarMix等LiDAR-only增强方法,提升训练效率与泛化性 [7][9] GTF特征融合模块 - 通过物理点投影避免虚拟中心点导致的特征偏差,构建尺度感知位置编码 [10] - 解决传统方法因体素级投影和传感器感受野差异导致的位置偏差与语义错误 [10] PQG查询初始化 - 三重查询生成机制:几何先验query(BEV热力图)、纹理先验query(2D VFM)、无先验query(可学习参数) [12] - 提升远距小目标召回率,避免传统可学习query陷入局部最优 [12] 性能表现 基准测试结果 - nuScenes-Panoptic官方榜单第一:PQ 82.0、PQT 84.3、RQ 89.3、SO 91.6,全面超越4DFormer(L+C)和LCPS(L+C) [14] - 单模态LiDAR分支性能:PQ 75.1,已超过EfficientLPS(62.4)和PolarNet(63.6) [14] 模块消融实验 - 完整IAL模型(PieAug+GTF+PQG)相比基线(无模块)PQ提升6.6个百分点(75.7→82.3) [15] - 单独GTF模块可使mloU提升4.4个百分点(73.8→78.2) [15] 可视化优势 - 显著提升紧邻目标区分度、远距目标检测能力以及FP/FN识别准确性 [17]
性价比极高!黑武士001:你的第一台自动驾驶全栈小车
自动驾驶之心· 2025-07-16 19:11
产品概述 - 黑武士001是一款面向科研与教学用途的自动驾驶全栈小车,原价34999元,当前预售支付定金1000元可抵扣2000元,并优先安排组装发货[1] - 产品定位为教研一体化轻量级解决方案,支持感知、定位、融合、导航、规划等全栈功能平台,采用阿克曼底盘设计[2] 核心功能 - 支持室内外多场景测试,包括地库建图、公园行驶、夜间行驶、上下坡等复杂环境[3][6][7][8][9][10][11] - 适用场景覆盖本科生学习比赛、研究生科研论文、高校实验室教具、职业培训等教学需求[5] - 软件功能包含2D/3D目标检测、语义SLAM、多传感器融合SLAM、点云处理、车辆导航避障等17项核心技术[17] 硬件配置 - 传感器组合:Mid 360 3D激光雷达(FOV 360°×59°/测距40m)、镭神智能2D激光雷达(测距25m)、奥比中光深度相机(测距0.15-5m/精度≤2%)[12][20] - 主控采用Nvidia Orin NX 16G芯片,配备1080p显示器,整机采用铝合金/不锈钢钣金结构[12][14] - 底盘参数:自重30kg、载荷30kg、最大速度2m/s、续航>4小时(50W电池/24V供电)[14] 软件系统 - 基于ROS框架开发,支持C++/Python语言,提供一键启动开发环境[16] - 深度相机驱动节点可输出RGB图像(1280×800@30fps)、深度图像及相机内参数据[31] - 支持手柄遥控模式,通过geometry_msgs::Twist消息控制线速度/角速度,参数可配置[32][34] 售后服务 - 提供1年非人为损坏保修服务,人为操作失误导致损坏可免费维修(需自付邮费)[39]
ICML 2025杰出论文出炉:8篇获奖,南大研究者榜上有名
自动驾驶之心· 2025-07-16 19:11
ICML 2025最佳论文奖项总结 - 本届ICML共评选出8篇获奖论文,包括6篇杰出论文奖和2篇杰出立场论文奖,南京大学研究者位列获奖名单[3] - 大会共收到12107篇有效投稿,接收3260篇,接收率26.9%,相比2024年9653篇投稿数量持续大幅增长[5] - ICML是全球人工智能领域三大顶会之一,与NeurIPS、ICLR并列,本届为第42届,在加拿大温哥华举行[3] 杰出论文奖主要研究成果 - 论文1提出自适应Token解码顺序策略,将掩码扩散模型在数独解题准确率从7%提升至90%,超越7倍参数量的自回归模型[8][10] - 论文2研究机器学习在政府项目中的应用,通过德国失业案例评估预测技术对福利分配的影响,为政策制定提供分析框架[11][13][14] - 论文3提出CollabLLM框架,通过多轮感知奖励增强人机协作,任务表现提升18.5%,用户满意度提高17.6%,减少10.4%用户时间[15][17][18][19] - 论文4分析语言模型创造性极限,证明多Token方法在生成多样性方面优于下一Token学习,提出噪声注入输入层的新方法[20][22][23] - 论文5从贝叶斯视角改进共形预测,提出基于贝叶斯求积的实用方案,提供更全面的损失范围表示[24][25][26][27] - 论文6调整分数匹配方法处理缺失数据,提出重要性加权和变分两种方法,分别在小样本低维和高维场景表现优异[28][30][31] 杰出立场论文奖核心观点 - 论文1建议改革AI会议评审系统,建立双向反馈机制和审稿人奖励系统,应对投稿量激增带来的评审质量挑战[35][36][39][40] - 论文2指出当前AI安全研究忽视对未来工作影响,主张建立以人为中心的全球治理框架,解决收入不平等和技术债务问题[41][44] 行业动态 - 自动驾驶领域技术社区已聚集近4000人,300+企业和科研机构参与,覆盖30+技术方向包括大模型、BEV感知、多传感器融合等[47] - 专业课程涵盖端到端自动驾驶、大模型应用、BEV模型部署、轨迹预测等前沿方向,提供系统学习路径[48][49]
入职小米两个月了,还没摸过算法代码。。。
自动驾驶之心· 2025-07-16 16:46
自动驾驶行业趋势与职业发展 - 自动驾驶行业当前处于快速发展阶段,大模型与端到端技术成为核心方向[4][6] - 小米汽车在自动驾驶领域势头强劲,虽薪资水平中等但短期发展潜力较大[7] - 医学图像与工业检测领域技术门槛低于自动驾驶,可作为从业者备选方向[6] 求职与技能提升策略 - 实习经历需适当包装,重点突出与目标岗位相关的技术亮点[3][6] - 建议利用公司资源补充自动驾驶算法实践经验(如BEV、端到端),同时学习VLA、SFT等技术[6] - 需同步准备秋招与实习转正,多offer可增强薪资谈判能力[5][6] 技术研究方向与资源 - 视觉大语言模型、世界模型、扩散模型和端到端自动驾驶为四大前沿方向[10] - 自动驾驶数据集覆盖2D/3D目标检测、语义分割、轨迹预测等任务,包括NuScenes、BDD100K等主流数据集[25][26] - 扩散模型在自动驾驶中应用于场景生成、3D补全等任务,如DriveDreamer、MagicDriveDiT等创新方法[43] 社区与学习平台 - 知识星球提供自动驾驶课程、硬件资料及招聘信息,已形成学术-产品-就业闭环生态[8][62] - 社区目标3年内聚集万人规模,现有华为天才少年及领域专家入驻[8] - 会员可获取5000+干货内容、100+场行业直播及求职咨询等权益[62] 端到端自动驾驶进展 - 开源仓库收录E2E驾驶最新研究成果,涵盖感知、预测、规划全流程[45][49] - 特斯拉FSD验证了端到端模型可行性,但开环评估仍存争议[49] - 典型方法包括DriveGPT4(大模型驱动)、VADv2(概率规划)等[52][55]
三周年了!从自动驾驶到具身智能:一个AI教育平台的破局与坚守~
自动驾驶之心· 2025-07-16 16:14
公司发展里程碑 - 公司成立三周年,自动驾驶领域技术迭代加速,从端到端方案演进至VLM/VLA方案,索尔算力显著超越Orin芯片[2] - 业务矩阵扩展至四大IP:自动驾驶之心、具身智能之心、3D视觉之心、大模型之心,覆盖知识星球、公众号、视频号等多平台,其中具身智能业务实现学术与产业双突破[2] - 业务模式从纯线上教育升级为全栈式服务,新增硬件教具、线下培训、求职招聘板块,杭州办公室设立并引入核心团队成员[2] 战略与价值观 - 盈利被视为结果而非唯一目标,行业影响力与帮助从业者构成核心内驱力[3] - 坚持"重全局,沿途下蛋"策略,平衡长期价值投入与短期商业化落地[4] - 通过《长安的荔枝》案例强调"逆人性做事"原则,严控课程质量,对不合格内容实施重录补录,建立1v1学员反馈机制[5][6] 行业竞争与创新 - 小米汽车案例显示市场时机非绝对门槛,执行质量决定成败[4] - 行业普遍存在短期红利追逐现象,公司差异化聚焦长期价值赛道[4] - 将创新能力视为核心壁垒,主张"创新才能每天吃第一口热饭",持续研发新体系对抗同业模仿[6][7] 业务转型与规划 - 启动科技公司转型,同步深耕AI教育领域,计划2025年下半年完成体系搭建并进入稳定运营期[8] - 教育产品目标定位降低AI学习门槛,覆盖自动驾驶、大模型等15个技术方向[9][10] 市场活动 - 推出三周年专项优惠:自动驾驶课程全线8折,知识星球新用户6折、老用户续费5折[10]
TACTILE-VLA:激活VLA模型的物理知识以实现触觉泛化(清华大学最新)
自动驾驶之心· 2025-07-16 12:05
核心观点 - 视觉-语言-动作模型(VLA)在接触密集型任务中存在触觉感知缺失的短板,难以实现精细力控制 [2] - Tactile-VLA通过深度融合视觉、语言、动作与触觉感知,激活VLA模型中隐含的物理知识,解决接触密集型任务的力控制与泛化问题 [2][6] - 研究发现视觉-语言模型(VLM)的先验知识中已包含对物理交互的语义理解,通过少量演示即可激活该知识实现零样本泛化 [6] 核心创新与研究目标 关键发现 - VLM的先验知识包含物理交互语义理解,通过触觉传感器连接可激活该知识实现零样本泛化 [6] 主要创新点 - Tactile-VLA框架:首次将触觉感知作为原生模态引入VLA模型,构建多模态深度融合架构 [6] - 混合位置-力控制器:将力目标转化为位置调整指令,解决位置与力控制的协同难题 [6][11] - Tactile-VLA-CoT变体:引入思维链推理机制,基于触觉反馈自主调整策略提升稳健性 [6][15] 主要解决的问题 - 触觉感知的指令遵循:理解"轻柔地""用力地"等力相关语言修饰词 [6] - 触觉相关常识运用:基于物体属性自主调整交互力 [6] - 触觉参与的自适应推理:通过触觉反馈诊断失败并制定纠正策略 [6] Tactile-VLA框架 整体架构 - 多模态深度融合架构包含视觉、语言、触觉和本体感觉输入的统一token表示 [9][11] - 通过非因果注意力机制实现视觉、语言和触觉token的自由交互 [9] 混合位置-力控制机制 - 控制逻辑:以位置控制为主,力误差超过阈值时引入力反馈调整 [11][12] - 双通道分离:外部净力与内部抓取力分离实现精细化调节 [13] 思维链推理机制 - 触发机制:固定间隔评估任务进展,检测失败时启动推理 [18] - 推理流程:判定任务成功与否、分析失败原因、生成纠正指令 [18] 数据收集方法 - 硬件平台:基于通用操作接口(UMI)配备双高分辨率触觉传感器 [19] - 同步机制:100Hz触觉信号与20Hz视觉数据时间对齐 [19] - 标注方式:人类操作员结合触觉反馈提供演示并记录语言指令 [19] 实验验证与结果分析 触觉感知的指令遵循实验 - 任务A(USB插拔):Tactile-VLA成功率达35%,充电器任务中达90% [22][23] - 力控制精度:USB任务中"轻柔地"施加0.51N力,"用力地"施加2.57N力 [23] 触觉相关常识的运用实验 - 域内物体抓取成功率:90%-100%,域外物体达80%-100% [30] - 力调节策略:根据物体属性自主调整力度,如对易碎物体用轻力 [30] 触觉参与的自适应推理实验 - 黑板擦拭任务:Tactile-VLA-CoT成功率达80%,基线模型为0 [28][32] - 推理过程:首次尝试失败后自主增加剪切力并成功完成任务 [32]
每秒20万级点云成图,70米测量距离!这个3D扫描重建真的爱了!
自动驾驶之心· 2025-07-16 12:05
产品概述 - GeoScan S1是一款手持三维激光扫描仪,具有轻量化设计、一键启动和高性价比的特点,适用于多种作业领域[1] - 设备以多模态传感器融合算法为核心,实现厘米级精度的三维场景实时重构[1] - 产品由同济大学刘春教授团队和西北工业大学产业化团队合作开发,拥有多年科研和行业积累,经过上百个项目验证[4] 技术参数 - 扫描性能:每秒生成20万级点云,70米测量距离,360°全域覆盖,支持20万平米以上的大场景扫描[1][23] - 精度:相对精度优于3cm,绝对精度优于5cm[16] - 数据输出:支持pcd、las、ply等多种通用格式,可生成彩色点云[16] - 系统环境:运行Ubuntu 20.04,支持ROS[16] 硬件配置 - 传感器集成:包含3D激光雷达、9DOF IMU、双广角相机、深度相机等[7] - 计算单元:Intel N5095处理器,4核2.0GHz(睿频2.9G),16G内存/256G存储[16] - 同步模块:微秒级同步精度,最高800Hz频率[17] - 供电:88.8Wh电池容量,续航约3-4小时[16] 功能特点 - 实时建模:支持三维点云地图动态构建、色彩融合和实时预览[16] - 多传感器融合:结合相机、激光雷达、IMU、RTK数据[16] - 小倾角设计:激光雷达25°倾斜角度安装,提高采集效率[9] - 跨平台集成:适配无人机、无人车、机械狗等多种负载平台[38] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等复杂室内外场景[32] - 可用于地理信息数据采集、城市规划、文物保护等领域[46] - 支持3D高斯实景还原,选配模块可实现高保真实景还原[44] 价格信息 - 基础版本:19800元[51] - 深度相机版本:23800元[51] - 3DGS在线版本:39800元[51] - 3DGS离线版本:67800元[51]
自动驾驶之心求职辅导推出啦!1v1定制求职服务辅导~
自动驾驶之心· 2025-07-15 20:30
求职辅导服务 - 推出1v1定制求职辅导服务 目标人群为希望转型智能驾驶方向的应届生和职场人士 周期2个月左右 [2] - 课程特色以求职成功为导向 聚焦目标岗位 迅速补足短板 短时间内具备目标岗位所需知识和能力 [2] - 收费标准8000元/人 包含不低于10次线上1v1会议 每次不低于1小时 [4] - 基本服务包括8次答疑+1次面试前复盘+1次正式面试后复盘 [5] 服务内容 - 分析学员画像 评估知识结构和能力模型 找出与目标岗位差距 [8] - 制定全周期学习计划 提供相关学习资料包括文档和网络资源 [8] - 每周定期会议答疑 回顾学习进度并给出建议 其他时间可随时提问 [8] - 简历优化建议 提升与目标岗位匹配度 提供合适内推机会 [9] 进阶服务 - 项目实战 提供实际项目实践机会 可写入简历 补充费用3000元 [11] - 模拟面试 包含HR面试和业务面试 补充费用2000元 [11] 可辅导岗位 - 涵盖智能驾驶产品经理 系统工程师 算法 软开 测试工程师 [11] - 智能座舱产品经理 汽车智能化行业分析师等方向 [11] 师资力量 - 辅导老师为智驾行业专家 包括产品 架构 算法 测试 分析师等 [12] - 大多具备8年以上从业经验 就职于国内自驾独角兽和主机厂 [12] - 主导头部车企智能驾驶产品方案 熟悉供应商与整车厂方案 [13] - 参与早期多款车型座舱方案 10年算法/软件/测试实战经验 [13] - 对自驾行业有深度理解 输出过多篇重量级行业研究报告 [13]
多模态大模型强化学习训练框架 - EasyR1代码走读(GRPO)
自动驾驶之心· 2025-07-15 20:30
多模态强化学习框架EasyR1分析 - EasyR1是基于纯语言强化学习训练框架verl修改而来的多模态强化学习训练框架,支持Qwen2.5-VL等模型的微调 [1] - 框架采用GRPO算法进行训练,该算法不涉及Value Model,从而简化了训练流程 [45] - 代码仍在频繁更新中,文章分析的是2024年6月10日左右的代码版本 [1] 启动配置 - 启动脚本位于examples目录,通过python3 -m verl.trainer.main命令启动训练任务 [5] - 配置文件分为data、algorithm、worker和trainer四类配置项,参数可通过启动脚本覆盖 [6] - 数据配置包括训练集/验证集路径、prompt/answer/image键名、最大长度限制等参数 [9] 数据处理流程 - 数据集必须包含problem、answer和images三个key,支持json等多种格式 [40] - 数据加载使用datasets.load_dataset函数,支持本地文件和远程Hugging Face数据集 [41] - 图像处理支持<image>占位符,可拼接多张图片内容 [39] - prompt会通过jinjia模板进行格式化渲染,支持单轮问答场景 [38] 训练流程 - 训练分为init和fit两个阶段,fit阶段包含数据采样、奖励计算、优势估计和模型更新等步骤 [44] - GRPO算法中每个prompt会采样多条响应(n≥2),通过组内标准化计算优势 [81] - 训练使用KL散度约束模型更新,支持多种KL惩罚类型如low_var_kl等 [78] - 策略更新采用PPO算法,支持多epoch训练和梯度累积 [84] 性能优化 - 框架采用FSDP策略进行分布式训练,支持参数卸载以节省GPU内存 [16] - 数据在DP rank间进行平衡分配,确保每个rank获得相似数量的token [62] - 推理使用vLLM引擎,支持tensor并行和分块预填充等优化 [28] - 训练支持padding-free模式和Ulysses序列并行技术 [15]