SENNA

搜索文档
自动驾驶端到端VLA落地,算法如何设计?
自动驾驶之心· 2025-06-22 22:09
自动驾驶VLA模型研究进展 - 端到端自动驾驶已成为主流范式 视觉-语言-动作(VLA)方法伴随具身智能兴起 相关论文横扫前沿领域 [2] - 主机厂如理想 文远知行 小米 小鹏等都在大力尝试VLA技术量产落地 [2] - 学术界和工业界涌现AutoVLA ReCogDrive等优秀工作 关注自适应推理 强化微调等方向 [3][7][9] 关键技术突破 - AutoVLA统一推理和动作生成 采用双重思维模式(快速/慢速思维)和GRPO强化微调方法 [3][4] - ReCogDrive采用三阶段训练框架 集成VLM与扩散规划器 PDMS达89.6创SOTA [7][9] - DriveMoE引入混合专家架构 包含场景专用视觉MoE和技能专用动作MoE 处理罕见驾驶行为 [19][21][22] - OpenDriveVLA通过分层视觉语言对齐和代理-环境-自我交互过程 实现轨迹规划SOTA [28][30][32] 数据集与基准 - Impromptu VLA数据集含8万+视频片段 覆盖4类非结构化场景 显著提升模型性能 [14][18] - DriveAction基准含16185个QA对 直接关联驾驶操作 支持全面评估VLA模型 [23][24] - 行业亟需更多高质量VLA基准 当前工作多基于nuScenes Bench2Drive等有限数据 [47] 行业应用趋势 - VLA模型输出形式向多模轨迹生成发展 文本输出逐渐被替代 [47] - 大规模自动驾驶预训练模型仍欠缺 多数工作依赖Qwen等开源模型 [47] - 时序处理能力待加强 需适配车端实时性要求 [47] - 小米 博世 清华等机构积极布局VLA研发 形成产学研协同 [7][14][19][28] 性能对比 - AutoVLA在nuPlan等基准上PDMS达92.12 碰撞率低于1% [5] - ReCogDrive在NAVSIM基准PDMS达89.6 超越前SOTA 5.6分 [9][10] - DriveMoE在Bench2Drive紧急刹车等场景能力提升显著 均值达47.91% [22] - OpenDriveVLA-7B在nuScenes开环规划L2误差仅0.66m 优于GPT-3.5等基线 [31]
类脑计算,进入边缘AI
36氪· 2025-05-29 11:51
神经拟态计算技术发展 - 神经拟态计算通过模拟人脑神经元结构突破冯·诺依曼架构的存储墙和功耗墙限制,能效比传统方案提升1000倍[1] - IBM类脑芯片NorthPole对比Nvidia H100 GPU能效提高5倍[1] - 技术路线分为数字CMOS型(易产业化)、数模混合CMOS型(Polyn方案)和忆阻器型(未来5-10年商业化)[19][20] 商业化进展 - Innatera推出首款商用类脑MCU Pulsar,延迟降低100倍,能耗比传统AI处理器低500倍[2] - Polyn首款神经拟态模拟芯片NASP流片,推理功耗低于100μW,数据压缩比达1000倍[5][6] - 弗劳恩霍夫IIS发布SENNA芯片,响应时间20纳秒,芯片面积小于11mm²[12][14] 技术实现细节 - Pulsar集成384KB SRAM,支持SNN/CNN异构计算,工作温度范围-40℃~125℃[4] - NASP采用模拟电路直接处理传感器数据,无需ADC模数转换[7] - SENNA通过事件驱动型尖峰神经元实现异步计算,支持动态重编程[14][15] 行业生态与国内发展 - 英特尔Loihi、IBM TrueNorth等国际厂商已展示边缘应用潜力[23] - 国内清华大学天机芯、浙江大学达尔文芯片为代表,灵汐科技等初创公司获多轮融资[21][22] - 行业合作案例:Polyn与英飞凌开发轮胎监测传感器,集成振动信号预处理功能[11] 应用场景 - 耳机/可穿戴设备(NASP芯片)、电机控制(SENNA芯片)、预测性维护等低功耗场景[6][12] - 医疗健康领域因数据压缩特性增强隐私保护[6] - 通信系统优化数据传输效率(SENNA芯片)[12]