Workflow
理想VLA司机大模型新的36个QA
自动驾驶之心·2025-08-17 00:04

VLA技术架构与部署 - VLA模型通过"3D局部空间+2D全局理解"实现多模态对齐 解决自动驾驶特有的3D空间理解难题 [3] - 公司自研底层算子与引擎 在Orin芯片上实现2.2B参数模型部署 为业界首个双系统VLM部署方案 [3] - 采用FP8/FP4量化技术优化计算精度 通过分层精细调优实现模型压缩与算力优化 [45][46] 模型设计方法论 - 从并联VLM架构升级为串联VLA架构 实现每一步计算的自主思考能力 [5] - 引入Diffusion模型生成轨迹 基于机器人领域技术验证及年初预研结果确认其可行性 [6][11] - 通过语言思考模块提升决策一致性 解决上一代模型在高速场景中的决策摇摆问题 [20] 感知能力升级 - 整合3D空间编码与全局语义理解 使模型具备距离判断能力(传统VLM仅支持2D输入) [7] - 采用前融合方案结合视觉与激光雷达数据 提升对小物体(如锥桶)的识别置信度 [27][57] - 90%训练数据来自真实场景 10%合成数据用于特殊场景(雪天/事故车)补充 [53] 渐进式技术路线 - 采用L2到L4渐进路径 通过无图方案实现全场景覆盖 与Robotaxi玩家依赖高精地图的方案形成差异 [9][10] - 已储备语音控车、地库漫游等能力 但需配合法规逐步释放 [25][33][38] - 通过世界模型仿真平台测试4000多万公里 使用动态场景库(数十万clips)避免过拟合 [53][54] 算力与模型优化 - 大模型在垂域场景可通过语言压缩技术减少算力需求 同等智力水平下推理性能年提升10倍 [16] - 采用8×0.4 MoE特殊架构优化芯片部署效率 相比开源模型(如千问)具备硬件适配优势 [30] - 通过模型蒸馏与数据配比优化 在参数量不变(如7B)情况下持续提升模型智力 [16] 数据与训练体系 - VLA标注体系与端到端方案完全不同 需对原有数据全部重刷标注 [32] - 强化学习需要推理卡与训练卡交替使用 公司今年显著增加推理卡投入 [13] - 基座模型团队负责通识知识训练(交规/驾驶基础)并提供多尺寸模型蒸馏 [30] 行业技术对比 - 特斯拉FSD V13未使用Language模型 其漫游能力依赖端到端架构而非VLA的寻路能力 [41][42] - 互联网公司开源模型(如千问)缺乏3D数据资产 难以具备物理空间理解能力 [31] - Waymo等Robotaxi玩家受限于高精地图 扩城速度远低于无图方案(如特斯拉奥斯汀覆盖超Waymo) [9] 功能实现与用户交互 - 语音控车简单指令可通过规则实现 但连续组合指令必须依赖语言模型保障扩展性 [55] - EID界面细化需消耗座舱芯片算力 当前仅渲染车辆/车道线等基础元素 [40] - 用户记忆功能实现千人千面需求 解决不同驾驶风格(如超车决策)的个性化适配 [25]