Workflow
中金 | AI智道(9):多模态推理技术突破,向车端场景延伸
中金点睛·2025-06-03 07:45

多模态推理技术进展 - 2025年3月Google发布Gemini 2.5模型,原生支持文本、图像、音频、视频、代码库等多模态输入,并在LMArena排行榜超越GPT-4.5和Claude 3.7 [1][2] - 2025年4月阶跃星辰发布多模态推理模型Step-R1-V-Mini,商汤发布SenseNova V6模型,后者实现10分钟长视频理解能力 [2] - 2025年5月MiniMax开源视觉RL统一框架V-Triune,使VLM掌握视觉推理和感知的统一能力 [2] 技术架构创新 - MiniMax V-Triune框架采用三层组件架构:多模态样本数据格式化、异步客户端-服务器架构的验证器奖励计算、数据源级指标监控 [3] - 通过动态IoU奖励机制和冻结ViT参数等优化,Orsta 32B模型在MEGA-Bench Core基准测试性能提升14.1% [3][6] - 商汤SenseNova V6采用多模态长思维链构建、多模态强化学习和多模态全局记忆技术创新 [2] 智能驾驶应用 - 蔚来NVM世界模型具备全量理解、想象重构和推理能力,在ETC车道通行和停车场寻路等场景性能显著提升 [3][7] - 理想自研VLA大模型通过多模态推理模拟人类驾驶员思维运作方式 [3] - 多模态推理技术可增强道路交通标志识别判断能力,提升复杂场景泛化性 [3] 性能对比 - Orsta 7B模型在MEGA-Bench Core测试中相比骨干模型提升3.2个百分点 [6] - Orsta 32B模型在知识、数学、感知等多项指标上实现5.9-20.2个百分点的提升 [6] - 在32B+模型对比中,Orsta 32B-0326版本相比骨干模型在核心指标提升2.1个百分点 [6]