视觉语言模型（VLM）技术突破 - 视觉语言模型正经历从「感知」到「认知」的关键跃迁，实现多模态交互的全新可能 [1][2] - 传统VLM依赖文本token间接翻译视觉信息，导致在高清图像微小物体、视频动态细节等场景中表现不足 [2] - 研究团队提出「像素空间推理」范式，将推理战场从文本空间拓展到像素空间，实现原生视觉操作 [2][3] 像素空间推理的核心优势 - 模型可自主触发视觉变焦、时空标记等原生操作，在像素矩阵上直接完成闭环推理，避免信息衰减 [6] - 视觉主导推理机制使模型能捕捉传统方法难以处理的空间关系与动态细节，如具身视觉导航、复杂视频理解等场景 [6] - 打破文本对视觉语义的「翻译牢笼」，实现与人类视觉认知同构的推理能力 [7] 学习陷阱与激励机制 - 指令微调模型面临「认知惰性」挑战，表现为负面反馈循环和路径依赖惯性 [8] - 研究团队设计内在好奇心激励配合外在正确性激励的强化学习方案，鼓励模型练习视觉操作 [9][10] - 通过像素推理率约束和操作效率约束，在探索与计算成本间找到平衡 [10][11] 性能表现与行业影响 - 基于Qwen2.5-VL-7B构建的Pixel-Reasoner在四大视觉推理基准测试中表现优异：V* Bench 84.3%准确率，超越GPT-4o和Gemini-2.5-Pro [13][15] - 在TallyQA-Complex、InfographicsVQA、MVBench等测试中均实现显著性能提升，展现「小模型大能力」特性 [19][20] - 像素空间推理为VLM开启「第二思维通道」，推动多模态模型真正理解世界复杂性 [21]

车企AI辅助驾驶人才争夺战 - 中国车企如华为、理想、Momenta等对AI辅助驾驶人才需求激增，行业竞争激烈导致高端人才被哄抢，理想汽车CEO透露核心人员平均接到20+猎头电话[6][9][16] - 人才流动伴随竞业纠纷，理想汽车曾起诉跳槽员工并达成千万元级别和解，行业普遍采用竞业协议延缓技术外溢[7][8][14] - 比亚迪、小米等车企积极补足辅助驾驶能力，比亚迪自研城市NOA方案并挖角新势力背景人才，小米招募Wayve科学家加入团队[12][13] 技术路线演进与行业格局 - 辅助驾驶技术从传统规则方案转向"端到端"模型，并探索VLM/VLA多模态大模型，头部公司如理想、华为、Momenta装机量分别突破50万/30万辆[9][11][24] - 理想汽车技术路线快速迭代，从依赖地图方案升级至VLA模型，联合清华团队开发双系统方案并积累AI大模型量产经验[11][24] - 特斯拉停止公开FSD技术路径后，中国车企自主探索，华为乾崑智驾和小鹏"世界基座模型"成为代表性方案[10][11] 行业竞争策略与乱象 - 比亚迪发起辅助驾驶平权运动，将高速NOA功能下放至7万元级车型并通过补贴降至5.58万元，倒逼行业技术普及[12][17] - 部分车企通过"白盒"代码泄露获取技术捷径，供应商核心算法被非授权扩散至其他车企，导致人才携带代码跳槽牟利[18][19][20] - 头部企业采取项目保密措施，理想要求VLA项目员工签署协议且离职需脱敏6个月，华为亦有类似保密机制[14][16] 技术挑战与未来方向 - "端到端"模型存在场景泛化局限，理想提出VLA模型增强物理世界交互能力，但面临人才稀缺与工程化挑战[23][24] - 行业下一阶段技术重心聚焦生成式AI世界模型仿真器和强化学习应用，Momenta已率先在规控环节应用AI模型[24][25] - 跟随型企业依赖技术外溢难持续，原创性思考与工程能力成为竞争分水岭[25]

报告行业投资评级 未提及相关内容 报告的核心观点 - 高阶智能辅助驾驶技术需在算法、数据、算力升级的同时解决安全短板，推动技术迭代与安全验证同步发展 [23] - 车端算法架构从模块化向端到端演进，一段式端到端VLA推动智能驾驶从“数据驱动”向“认知驱动”跃迁，多段式端到端E2E+VLM将被替代 [66] - VLA大模型“类人决策”特点将重塑智能辅助驾驶竞争格局，车企需平衡算法创新、工程落地与成本控制 [69] - 全栈自研仅头部新势力可长期维持，自研+外采将成多数车企主流选择，全栈外采在中低端车型仍有空间，行业呈“分层竞争、多元共存”格局 [83] - 尽管车企和政策推动L3落地，但大规模商业化需突破技术长尾问题与伦理争议，未来两年是关键窗口期，L3规模化上车进度可能放缓 [99] 根据相关目录分别进行总结 中国高阶智能辅助驾驶市场背景 - 高阶辅驾ODD再扩展：未提及具体内容 - 科技平权与技术普惠：未提及具体内容 - 事故焦虑与安全冗余：今年部分头部车企智能辅助驾驶NOA功能事故暴露技术边界与用户认知错配，引发安全信任危机；工信部发文规范宣传，为行业过热宣传降温；技术需在多方面升级同时解决安全短板 [21][23] - 政策护航与理性宣传：2025年4月16日，工信部发布通知规范智能网联汽车驾驶辅助功能宣传及技术验证，禁止夸大能力，要求功能验证周期与用户安全教育 [23] 中国高阶智能辅助驾驶技术洞察 高阶智能辅助驾驶技术洞察 - 解码算力、数据、算法的技术底层逻辑：未提及具体内容 高阶智能辅助驾驶算力洞察 - 车端算力：向千级TOPS跃迁，大算力芯片加速普及，国产芯片未来可期；目前国内量产芯片多≤200TOPS，未来500 - 1000TOPS+芯片将成主流；车端受硬件算力限制，依赖云端大模型，架构向端到端转型；未来车端将实现端到端大模型本地化部署，车规级芯片算力上限将突破 [42][43][44] - 云端算力：未提及具体内容 高阶智能辅助驾驶数据洞察 - 数据难题：未提及具体内容 - 数据采集：未提及具体内容 - 定位技术：未提及具体内容 高阶智能辅助驾驶算法洞察 - 端到端、VLA、世界模型：车端算法以端到端架构为基础，VLM辅助E2E处理复杂决策，VLA融合多模态信息提升泛化能力；云端模型从模仿学习演进至生成式世界模型，构建闭环训练系统支撑车端模型泛化能力升级 [61] - 算法架构：从模块化到多段式端到端再到一段式端到端演进，一段式端到端VLA推动智能驾驶跃迁，多段式端到端E2E+VLM将被替代 [65][66] - VLA：起源于2023年谷歌探索，2025年上车引领智能辅助驾驶升级，但面临算力、数据成本、推理延迟等挑战，需强化多模态融合、车云协同 [68][69] 中国高阶智能辅助驾驶竞合分析 企业梯队与产业图谱 - 未提及具体内容 开发策略与合作模式 - 开发策略：主机厂智能辅助驾驶方案开发策略分软硬全栈自研、自研+外采、软硬全栈外采；全栈自研技术壁垒高但资金/人才门槛高，自研+外采平衡成本与技术，全栈外采快速量产、成本可控 [82] - 合作模式：包括全栈自研、自研+外采、全栈外采；全栈自研仅头部新势力可维持，自研+外采成主流，全栈外采在中低端车型有空间 [83] 中国高阶智能辅助驾驶趋势洞察 乘用车L3商业化进展 - 2025年主机厂陆续发布L3、L4量产规划，数据积累与政策协同推动安全升级；L3级自动驾驶ODD限定在高速路段，L4级可在城市限定区域运行；L3大规模商业化需突破技术长尾问题与伦理争议，未来两年是关键窗口期，规模化上车进度可能放缓 [96][97][99]

核心观点 - 研究发现监督微调（SFT）在多模态推理中可能阻碍学习，导致伪推理路径，而强化学习（RL）则促进真正的多模态推理 [3][9] - 传统两阶段训练范式（SFT+RL）在视觉语言模型（LVLM）中可能导致性能下降，7B模型相对性能下降47% [11][13] - 纯RL训练方案更具优势，VLAA-Thinker-Qwen2.5VL-3B模型在Open LMM推理榜单4B量级模型中位列第一，以1.8%优势刷新纪录 [15] 数据集构建 - 研究者构建了首个支持SFT与RL的全方位高质量图文推理数据集VLAA-Thinking，包含203,182条原始数据和144,895条处理后的数据 [4][5] - 数据集包含基于R1模型"先思考后回答"范式生成的完整推理链条，SFT分支包含多模态思维链样本，RL分支筛选更具挑战性的样本 [5] - 数据处理流程分为六阶段：元数据收集→图像描述生成→基于R1的知识蒸馏→答案重写→人工验证→数据划分 [6] SFT与RL对比研究 - SFT提高了模型在标准任务中的性能，但在增强复杂推理方面能力欠缺，可能诱发"伪推理路径"和"伪aha moment" [9] - 对已对齐模型使用SFT+GRPO会导致平均12.7%的性能下降，且模型规模差异影响甚微 [13] - SFT虽可帮助未对齐模型遵循指令，但其模仿式推理会限制RL阶段的探索空间 [15] GRPO训练优势 - 强化学习在增强推理能力方面表现出色，GRPO在文本数学推理任务中比其他方法更有效、更高效 [17] - 研究者提出了混合奖励框架，包含五种可验证的奖励类型，涵盖视觉感知和视觉推理任务 [19] - 直接使用GRPO训练的模型在视觉语言推理任务中显著优于其基础模型 [31] SFT对GRPO的影响 - SFT与多模态推理中的GRPO不兼容，在GRPO训练前进行SFT的模型性能比仅使用GRPO训练的模型更差，平均下降8.9% [21] - SFT对指令模型的性能损害比对没有指令跟随能力的基础模型更大，Qwen2VL-Inst性能比Qwen2VL-Base下降7.7% [21] - 较小的SFT数据集仍然会影响GRPO的性能 [23] 模型性能分析 - 响应长度、奖励分数与性能表现无显著相关性，SFT模型虽能获得更高初始奖励和更长响应，但实际表现逊于纯RL训练模型 [15][24] - SFT仅提供了RL训练的一个更高的"下限"，但可能会降低"上限"，限制了模型的探索路径 [26] - 经过更好指令调优的模型在GRPO训练后表现更佳，说明高质量的指令调优能够增强模型在强化学习后的推理能力 [31]

机器之心报道 机器之心编辑部 具身智能持续进化的浪潮下， "具身 AI 模型 +人形机器人"为 AGI 走进物理世界提供了更多可能。多模态大模型的兴起为具身 AI 注入强劲动力，世界模型 的出现也为具身智能训练和测试提供了新范式。如何让机器智能不仅「看懂」物理世界，更能像人类一样理解、规划并操作，是当下学术和业界共同面临的 挑战和机遇。 5 月 29 日，2025 张江具身智能开发者大会暨国际人形机器人技能大赛在上海浦东张江科学会堂顺利举行。作为大会重要组成模块， "具身·无界：智能模 型的范式创新与架构革命"论坛（以下简称"论坛"）在上海市经济和信息化委员会、上海市浦东新区人民政府指导下，由上海张江（集团）有限公司主办， 上海张江数智经济发展有限公司、机器之心承办，上海市浦东新区工商联张江人工智能商会协办。 本场论坛汇聚顶尖技术专家、知名高校学者、具身智能明星厂商代表等 10 余位重磅嘉宾，行业领袖深度洞察，技术大咖同台论道，深入探讨具身 AI 与世 界模型、分层决策与端到端路线、具身智能 Scaling Law 等业界热点话题，带来 五 场精彩的主题演讲与一场高质量圆桌对话，论坛由机器之心副主编谢文 菲主 ...

本文共同第一作者为新加坡国立大学博士生铁宸睿和多伦多大学研究助理/本科生孙圣翔。合作者为朱锦轩、刘益伟、郭京翔、胡越、陈浩楠、陈俊廷、吴 睿海。通讯作者为新加坡国立大学计算机学院助理教授邵林，研究方向为机器人和人工智能。 视觉语言模型（Vision-Language Models, VLMs），为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展，机器人仍难以胜任复杂的长时程任务（如家具装配），主要受限于人类演示数据和训练样本的稀缺性。 为解决这一问题，研究团队提出 Manual2Skill，一种基于 VLMs 的创新框架，使机器人能通过高级视觉说明书自主理解并执行家具装配任务，模仿人类学 习装配的过程。该方法弥合了抽象指令与物理执行之间的鸿沟，显著提升了机器人在真实操作场景中的实用性。 目前，该论文已被机器人领域顶级会议 Robotics: Science and Systems XXI（RSS 2025）接收。 论文标题：Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furnit ...

车企AI辅助驾驶人才争夺战 - 行业核心人才遭哄抢，理想、华为、Momenta成为被挖角最严重的公司，理想核心人员每人接到20+猎头电话[3][4][6] - 竞业协议诉讼频发，理想起诉跳槽员工案例涉及千万元赔偿，南方车企员工赔付超百万元[4][5] - 技术保密手段升级，理想要求VLA项目员工签署保密协议，离职需脱敏6个月；华为采取类似措施[12][14] 技术路线演进与竞争格局 - 技术路径从规则方案转向端到端模型，VLM/VLA多模态大模型成为新方向[6][9][24] - 头部企业技术布局： - 理想尝试4种技术路线（城市NOA/轻地图/端到端+VLM/VLA），与清华合作开发双系统方案[9][25] - 小鹏采用"世界基座模型"训练方式[10] - 华为乾崑智驾装机量突破50万，Momenta方案搭载量近30万辆[10] - 特斯拉停止公开FSD技术细节后，国内企业进入自主探索阶段[8][23] 车企人才战略与市场动态 - 传统车企加速布局： - 比亚迪推出5.58万元级辅助驾驶车型，下半年计划推出自研城市NOA[11] - 比亚迪技术院高层亲自招揽新势力背景人才，团队已吸纳多名竞品员工[11] - 小米引进Wayve科学家陈龙，强化辅助驾驶团队[11] - 人才流动双向性： - 理想曾为关键人才支付数百万竞业赔偿[12] - 端到端技术导致理想精简团队，部分人才外溢[12] 行业技术挑战与发展趋势 - 当前技术局限性： - 端到端方案存在场景泛化难题[23] - VLA模型面临人才稀缺、数据获取、问题定义等量产挑战[25] - 未来技术重点： - 生成式AI世界模型仿真器[25] - 强化学习在规控/仿真领域应用[25] - Momenta已率先在预测/规控环节应用AI模型和强化学习[26] 行业生态与潜在问题 - 技术泄露现象严重，存在代码被员工携带跳槽或出售的情况[18] - 部分企业通过"白盒"获取供应商代码进行拼凑开发，与头部"好用"方案存在差距[19][20] - 行业面临工程化能力与AI不确定性的双重挑战，需原创性思考突破技术迷雾[23][26]

以下文章来源于晚点Auto ，作者晚点团队 晚点Auto . 战略会结束的两个月后，理想汽车连续三天推出 "2024 理想 AI Talk"，近半年没有公开露面的李想现 身， 系统分享了他对 AI 的理解，并说早在 2022 年 9 月，理想就把 AI 作为真正重要的一个发展方 向、将其视作未来竞争的关键。 那时其他不同禀赋的公司也在明确各自的 AI 路线。2022 年 10 月，特斯拉在公司 AI Day 上发布了人 形机器人 Optimus。在演示视频中，Optimus 可以完成搬运箱子、浇花等简单动作；此外，特斯拉寄 予厚望的 "完全自动驾驶" 方案 FSD 在北美上路。两个月后，ChatGPT 问世，引爆全球对生成式 AI 的关注。 当时理想自研车机端 "理想同学" 近三年，智能辅助驾驶系统 AD Max 也已搭载至 L 系列车型。2023 年初，他们确立了 "2030 年成为全球领先人工智能企业" 的公司愿景。 随后， 无论是李想本人参与讨论 AI 的频率，还是理想公司层面对外释放 AI 相关的信息都越来越密 集：2023 年 10 月，理想智能辅助驾驶研发团队大规模扩招；同年 12 月底，升级后的 ...

文章核心观点 - 文章详细解释了Diffusion模型在自动驾驶轨迹生成中的应用，特别是理想汽车VLA（Vision-Language-Action）系统的技术架构和创新点 [1][4][6] - 理想汽车的VLA系统通过Diffusion模型生成驾驶轨迹，相比VLM（Vision-Language-Model）系统具有更强的拟人感和决策能力 [1][2][4] - TransDiffuser模型通过多模态感知信息融合和去相关优化机制，显著提升了轨迹生成的多样性和质量 [6][11][12] 什么是Diffusion - Diffusion是一种通过加噪和去噪过程学习数据分布的生成模型，核心思想类似于逆向拼图 [4] - 相比GAN和VAE等其他生成模型，Diffusion在生成质量和稳定性上具有优势 [4] - 理想汽车采用ODE采样器将Diffusion生成步骤从几十步减少到2-3步，大幅提升效率 [5] 理想VLA系统的技术特点 - VLA是一个具备快慢思考能力的单一系统，直接输出action token并通过Diffusion解码为轨迹 [4] - 系统能同时生成自车轨迹和预测其他交通参与者轨迹，提升复杂环境博弈能力 [5] - 当前系统输出轨迹而非直接控制信号，但未来可能演进到直接输出油门/方向盘信号 [3] TransDiffuser架构细节 - 模型采用编码器-解码器结构，融合图像/LiDAR/运动状态等多模态信息 [6][7] - 场景编码器处理前视图像（8视角）和LiDAR数据（5传感器），输出BEV/图像/点云特征 [7][10] - 去噪解码器基于DDPM算法，通过10步迭代生成覆盖4秒的8个waypoints轨迹 [9][11] - 在NAVSIM数据集上PDMS指标达到94.85，优于Hydra-MDP++等现有方法 [11] 关键创新点 - 无锚点轨迹生成：不依赖预设轨迹或词汇表，直接从感知数据生成轨迹 [11] - 多模态去相关优化：解决模式崩溃问题，提升轨迹多样性且计算开销低 [11][12] - 采用256批量大小分布在4个NVIDIA H20 GPU上进行训练 [10] 局限性与未来方向 - 模型微调存在困难，特别是感知编码器部分 [13] - 未来可能结合强化学习，并参考OpenVLA等先进模型架构 [13] - 直接输出控制信号（油门/方向盘）是更难的挑战，短期内难以实现 [3]

人形机器人产业化进展 - 人形机器人产业化进展飞速，从春晚表演到半程马拉松赛事引发广泛关注[1] - 具身智能技术突破是关键，大语言模型(LLM)、视觉语言模型(VLM)和视觉语言动作端到端模型(VLA)显著提升交互感知和泛化能力[1] - 行业面临数据采集、机器人形态应用和大小脑融合等挑战[1] 具身智能发展阶段 - 具身智能概念1950年提出，近年成为科技热点，被定义为能理解、推理并与物理世界互动的智能系统[2] - 当前具身智能模型已具备小范围场景行为复现能力，但力触动作和多指协同仍困难[3] - 泛化能力主要来自视觉语言模型，动作轨迹缺乏泛化性，依赖训练数据[3] 数据采集解决方案 - 行业面临三维数据采集难度大、周期长、成本高的问题[3] - 跨维智能采用3D生成式AI的Sim2Real仿真解决数据需求[4] - 智元机器人采用真机数据采集模式，年完成亿级数据采集，发布GO-1模型实现小样本泛化[4] 机器人形态发展 - 机器人发展经历工业自动化、大模型和端到端大模型三个阶段，不同架构各有优势[6] - 端到端大模型融合多模态输入与动作输出，提升决策效率，加速人形机器人发展[6] - 人形机器人不等于具身智能，但仍是最大需求者和挑战者[7] 非人形机器人应用 - 非人形机器人在垂直领域更具效率优势，如跨维智能DexVerse引擎在30余行业批量应用，精度超99.9%[8] - 中间态机器人(轮式、双臂等)可在工业、应急等场景承担任务，为具身智能公司提供营收[7] 大小脑融合技术 - 通用人形机器人本体分大脑、小脑和肢体三部分，独立系统导致通讯延迟[9] - 英特尔和东土科技提出大小脑融合方案，采用单一芯片架构降低成本[9][10] - 大小脑融合面临实时控制(1毫秒内完成99%任务)和动态计算负载等挑战[10] 技术路线融合趋势 - 厂商技术路线分化，有的聚焦大脑(场景化落地)，有的专注小脑(高精度运动控制)[12] - 市场需求将推动两种技术路线融合，要求机器人兼具智能交互和灵活动作能力[12]