Workflow
理想MindVLA
icon
搜索文档
理想VLA到底是不是真的VLA?
自动驾驶之心· 2025-08-22 07:34
文章核心观点 - 理想MindVLA是机器人领域基于大语言模型(LLM)作为主干网络的狭义VLA(Vision-Language-Action)模型,通过多模态信息整合编码和决策输出实现更优的自动驾驶能力,其核心优势包括防御性驾驶、场景理解能力和轨迹稳定性 [2][5][7] 技术架构与原理 - VLA基于LLM作为主干网络,串行整合多模态信息(视觉、激光雷达、语言、地图、定位),输出决策并转换为轨迹及控制细节 [2] - 模型通过扩散模型生成轨迹,相比端到端(E2E)模型更收敛,具备稳定的中短时序轨迹生成能力 [10] - 语音功能是LLM的附加能力,具备基础语音和记忆功能 [11] 场景性能对比(VLA vs E2E+VLM) 防御性驾驶 - 在无遮挡十字路口行驶快速稳健,在有遮挡路口基于剩余距离丝滑减速,减速G值根据距离动态调整,无漏检或虚惊情况 [4][5] - E2E模型难以学会丝滑减速,VLM模块在丁字路口需强制减速但体感为急刹 [3] 拥堵场景决策 - VLA在拥堵高架场景中,让行2辆Cut-in车辆后主动向左变道,避免持续加塞,体现深度场景理解能力 [7] - E2E+VLM通常触发绕行逻辑,缺乏真实场景理解能力 [7] 非标准车道行驶 - VLA在1.5-2.5倍宽闸道轻微减速并居中行驶,无画龙现象 [9][11] - E2E+VLM在该场景100%出现轻微画龙轨迹 [10] 复杂路径规划 - VLA在路口右转后需短距离左转时选择直行并触发导航重规划,决策坚决 [11] - E2E+VLM大概率直接变道或小概率直行 [11] 能力边界与局限性 - 当前版本为辅助驾驶而非自动驾驶,需随时接管 [11] - 行车场景(地面/高架/高速)为完整技术栈,但偶发异常如绿灯不走或误判红绿灯 [11] - 部分场景控车细节仍逊于FSD,但选路能力在杭州优于FSD [11] 迭代与工程优化 - VLA因MoE(混合专家模型)和工程巧思,分场景、能力、细节并行优化,迭代速度快于E2E模型 [11] - 关键信息提取COT(Chain-of-Thought)延迟可接受,在路口15-20米触发防御性减速 [11] 硬件与部署 - 模型运行于2022年双OrinX计算芯片平台 [12]
具身智能前瞻系列深度一:从线虫转向复盘至行动导航,旗帜鲜明看好物理AI
国金证券· 2025-07-22 16:17
报告行业投资评级 未提及 报告的核心观点 报告认为具身智能发展处于早期,当前缺乏模拟学习能力,物理AI是构建模拟学习的核心;世界模型约等于空间智能加物理AI;建议重视3D数据资产和物理仿真引擎双主线,看好中国物理AI稀缺资产索辰科技 [4][37]。 根据相关目录分别进行总结 从生物智能五阶段映射具身智能,模拟、规划能力是当前缺失环节 - 阶段一(关联性学习):生物智能起源于早期两侧对称生物学会“行动导航”,如线虫学会“转向”,“行动导航”是扫地机器人落地前提;早期两侧对称生物具备两侧对称结构、效价神经元、大脑和“情感”雏形;“关联性学习”是对未来初步“预测”的前提 [10][11][13]。 - 阶段二(强化学习):早期脊椎动物学会“试错”,构成“强化学习”基础;“基于预期奖励的时序差分强化学习”有助于缩短试错时间、建立更长预测时间窗口;该机制形成涉及时间感知和空间感知 [15][17][18]。 - 阶段三(模拟学习):早期哺乳动物学会“规划”,即“模拟学习”;构建基于模型的强化学习困难,因真实世界动作连续、信息嘈杂不完整、奖励复杂;大鼠在“不确定性”情况下触发模拟 [22][24][29]。 - 阶段四(模仿学习):灵长类动物学会“模仿学习”,映射到具身智能,“模仿学习”分为“主动教学”与“逆向强化学习”两种策略 [32]。 - 阶段五(语义处理):人类掌握“语言”,形成大规模协作;具身智能产业中,模拟学习应用相对初级,未来拥有3D空间智能的机器人具备“仿真”能力后将进化为硅基生命 [35][36]。 复盘智能驾驶模型算法演绎历史,世界模型≈空间智能+物理AI - 智能驾驶VS具身智能:智能驾驶是具身智能现阶段落地可行性及商业闭环被验证的场景,众多人形机器人核心创始团队有智能驾驶从业经验;智能驾驶“反物理交互”,人形机器人需高频“物理交互” [37][41]。 - 从特斯拉FSD说起:特斯拉FSD智能驾驶算法经历“模块化”规则驱动算法、感知模块引入BEV+OCC架构实现“端到端”、追求“一段式端到端”三个阶段;VLM、VLA等慢思考模型逐渐发展成熟 [44][46][53]。 - 谈及世界模型、物理AI:世界模型约等于空间智能加物理AI,英伟达Cosmos侧重视频世界模型;空间智能核心是让模型理解3D空间信息,获取3D空间数据有真实数据采集与仿真合成数据两条路线;物理AI解决机器人与物理世界交互及“缺数据”难题 [66][71][77]。 重视3D数据资产+物理仿真引擎双主线,看好中国物理AI稀缺资产索辰科技 - 群核科技:推出空间智能平台Spatial Verse,为空间智能算法提供产业级工具;2024年前三季度营收5.53亿元,经调整亏损率收窄至17%;毛利率持续提升,业务以订阅收入为主 [80][84][86]。 - 索辰科技:发布索辰开物平台,将发布“机器人虚拟训练平台”;2024年营收3.79亿元,2020 - 2024年营收CAGR达23.7%;业务分工程仿真软件与仿真产品开发两部分,研发投入强度较高 [92][95][100]。
AI端侧深度之智能驾驶(上):技术范式迭代打开性能上限,竞争、监管、应用加速高阶智驾落地
中银国际· 2025-07-18 14:40
报告行业投资评级 - 行业评级为强于大市 [1] - 水晶光电评级为买入 [1] - 隆利科技评级为买入 [1] - 瑞芯微评级为增持 [1] 报告的核心观点 - 智能驾驶有望成为物理 AI 率先落地的场景,带动产业链企业投资机遇 [1] - 技术范式迭代为高阶智驾奠定基础,变更行业竞争壁垒 [3][5] - 车企竞争、监管政策、商业应用推动高级智驾发展,L3 级乘用车落地在即、L4 级商用车初现曙光 [3][5] - 中国汽车零部件和布局汽车业务的消费电子企业为代表的供应链,将深度受益高阶智驾渗透率提升趋势 [5][168] 根据相关目录分别进行总结 智能驾驶是物理 AI 率先实现的场景,发展节奏迎加速 - 智能驾驶可提供“解放精力、减少事故”价值,城区 NOA 有望加速渗透 [13][20] - 因成熟度、需求量、政策支持力度等因素,智驾有望成为物理 AI 率先落地的场景 [27] - 高阶智驾落地面临挑战,责任认定成为主要难点 [33] 技术篇:技术范式演进为高阶智驾奠定基础,行业壁垒急剧切换 - 架构升级,端到端架构具备数据驱动/全局优化优势,替代模块化架构成为主流 [36][37] - 范式演进,从规则驱动走向数据驱动/知识驱动,数据/算力/模型成为车企竞争壁垒 [60] - 未来展望,世界模型 + 纯强化学习或成 L4 级智驾的方案,竞争壁垒或变成世界模型精度 [82] - 案例,从理想 MINDVLA 模型架构、训推过程看智驾技术落地的最近进展 [97] 商业篇:竞争、监管、应用同时加速,L3 落地在即、L4 初现曙光 - 商业竞争,智驾成为车企品牌的核心差异化,平权和升规同时加速渗透 [126] - 政策监管,全球智驾政策从试点转向推广应用,国内首次放开 L3 级乘用车上路 [137] - 应用落地,L3 级智驾商业模式逐渐成熟,L4 级 ROBOX 落地节奏加快 [154] - 投资建议,建议关注地平线机器人 -W、黑芝麻智能、瑞芯微等企业 [168]