Workflow
多模态人工智能
icon
搜索文档
AI 眼镜刚看懂,眼镜的下一轮竞争又变了
虎嗅APP· 2026-11-02 19:02
文章核心观点 - AI眼镜市场在2026年迎来大众化拐点,但下一轮竞争已转向空间计算终端,Meta与Google/XREAL分别从VR和AR路径汇聚到分体式XR眼镜形态 [4] - XREAL创始人徐驰提出新终端需要三块拼图:对的硬件形态与芯片零部件、操作系统与开发者生态、全新人机交互方式,AURA是三者首次在同一系统中同时就位 [8] - AURA由XREAL、高通、Google三家联合定义,行业判断"iPhone时刻"可能不是一家公司做出来的,而是多家各自做到最好的公司组合完成 [29][43] 市场与行业背景 - IDC数据显示2026年上半年全球智能眼镜出货711万台,同比增长七成 [2] - Counterpoint数据显示2026年上半年售出的AI眼镜中96%没有屏幕,拍照、听歌、问AI构成大多数产品核心体验 [2] - 从Google Glass到Vision Pro,XR行业近十几年多次被新品点燃又回归小众,行业一直在等待类似初代iPhone的转折时刻 [8] - 徐驰认为初代iPhone成功源于多点触控、移动芯片和移动互联网在同一时间点成熟,过往产品往往只拿到硬件、生态、交互三块拼图中的一两块 [8] 产品形态与竞争格局 - 9月23日Meta在Connect大会发布VR Glasses,由眼镜和口袋大小计算单元组成 [4] - 10月28日Google与XREAL共同发布AURA,率先开售并在今年内交付,为全球首款搭载Android XR的有线分体式XR眼镜 [4] - 两家公司一个来自虚拟现实、一个来自增强现实,却走到几乎同一形态,引出"为什么2026年可穿戴计算终端都走到这个形态"的行业问题 [5] - 徐驰类比计算终端先有台式机、再有笔记本、最后才有手机,设备越小越轻做完整越难,XREAL选择先做好"戴在头上的笔记本或平板" [5] 硬件与算力架构 - AURA通过三摄像头阵列、6DoF空间悬停和手势操作,让窗口稳定"放"在桌面上方或墙上,光学透视保留直接物理视线,视场角70度 [15] - 算力与电池采用"外包"方案:口袋大小的外置计算单元Puck承载电池和主要算力芯片,操作系统、三维渲染和AI推理在此运行 [15] - 眼镜上的自研XREAL X1S空间计算芯片负责实时融合多传感器数据、6DoF空间定位与空间锚定,实现超低延迟空间显示 [15] - 外置单元装的是投屏用迷你手机还是原生三维空间操作系统,决定产品停留在外接显示器还是跨进空间计算终端 [16] - 衡量真正空间计算可用三个问题:内容在空间里有没有位置、任务能不能连续做完、买回家后新用法还会不会增加 [16] 生态建设三步路径 - 行业长期困在"硬件销量有限、开发者不愿投入、应用不足、用户缺少购买理由"的循环中,很多设备惊艳只停留在演示阶段 [17] - 徐驰判断与其全部精力打磨原生AR应用,不如先把手机和互联网生态搬过来在空间里做增强,有用户和规模后原生生态自然生长 [17] - 第一步移植:Google Play上的Android应用可直接进入AURA,笔记本画面通过一根线接入,解决"买回来有没有东西用" [17] - 第二步增强:同一应用在空间里更好用,窗口按任意大小摆在周围,普通视频照片可转3D,走路时内容可缩到视野边缘 [19] - 第三步原生:接入Google Play生态后已有超过150款专门面向XR打造的空间体验,Owlchemy Labs和Resolution Games的XR游戏可用手直接玩,《挽救计划》等空间原生新作也在路上 [20] - 能打开多少Android应用决定开箱体验,有多少应用必须依赖空间才能成立才决定生态上限 [20] 消费端与企业端应用 - 消费端价值不只是卖出多少设备,也在于能否形成稳定的空间交互习惯,只有用户反复戴上眼镜开发者才能获得持续使用场景、反馈和分发机会 [20] - 企业端要看效率和成本有没有提升:头颈外科医生试用AURA时,病灶与手术标本三维全息模型悬在身旁,外科、影像科与病理科可围绕同一三维模型讨论方案 [20] - 教学与多学科会诊中减少的不只是翻找二维切片的步骤,还有各人分别脑中还原立体结构再彼此对齐的沟通成本 [20] - 工业与企业协同中复杂CAD模型可转化为可交互数字副本,维修流程与真实设备同场展开,设计团队可在产品落地前走近三维原型 [23] - 谷歌单独发布AURA企业部署方案,设备能否统一管理、流程能否规模化部署决定其是生产工具还是一次性三维演示 [23] 交互与AI能力 - 徐驰认为"手势永远是不够的",下一代交互还需要能理解现场、接受自然语言指令的智能体 [25] - 专为Android XR研发的无线手柄配有一颗Gemini快捷键,卡关时玩家可直接问"下一关应该怎么打",Gemini看得见游戏画面并结合进度分析下一步 [25] - 眼镜与手机、电脑最大不同在于:手机电脑等待用户输入、人需先把看到的东西拆成关键词或描述,眼镜则处在人和世界之间直接理解眼前正在发生的一切 [27] - 自然语言开发等新工具在压低三维内容创造门槛,让小团队与个人的细分想法更快长成空间新应用 [27] - AURA把三块拼图放进同一系统:空间硬件让数字内容获得位置,Android生态提供可持续调用的应用,Gemini尝试理解用户面对的现场 [27] - 生态价值从"有多少应用可以打开"走向"有多少真实任务能够在这里完成" [27] 三方合作分工 - 徐驰认为智能手机时代苹果碰巧既擅长软件又擅长硬件,但这次很可能不是一家公司能把交互、操作系统、产品全部定义 [29] - 谷歌需要证明Android XR不只能跑在封闭头显里,需要足够轻、镜片透明、能进入日常生活的形态,Gemini也需要一双能看见用户所见的眼睛 [33] - 高通需要首发终端展示Snapdragon Reality Elite的空间计算能力,今年6月发布该平台时已把AURA列为首批采用产品 [33] - XREAL需要把眼镜从显示设备推进到计算终端,光学、芯片和整机能力可自己积累,但操作系统、多模态AI和全球开发者生态很难从零建起 [33] - XREAL与Google从产品早期设计与研发阶段就坐在一起磨合,让操作系统与硬件双向适应,跑通有线分体式Android XR眼镜新路线 [34] XREAL的技术积累与战略选择 - XREAL第一款产品Nreal Light即采用分体式设计并支持6DoF,当时比现在更激进,想自己把硬件、操作系统、交互甚至部分内容全做了 [34] - 第一个关键决定是坚持分体式架构:行业主流想把计算、电池、散热全塞进头戴设备,XREAL判断要让眼镜轻到能长时间戴就必须把重的东西从脸上拿走 [34] - 第二个关键决定是暂时把产品收窄到显示眼镜,通过把手机、电脑、游戏机画面变成眼前大屏,积累自研光学和芯片能力 [36] - 2024年底XREAL发布为空间显示定制的X1芯片,AURA上用的X1S是其升级版 [36] - 公开数据显示XREAL在全球累计拥有超过800项专利及专利申请,并在美国、欧洲等核心市场布局数十项关键专利 [36] - 国际平台方看中的不只是量产交付工艺,还有在全球主流市场立得住的自主知识产权以及自研光学与芯片的长期技术储备 [36] - 一家中国公司带着自研光学、空间计算芯片、全球专利储备及对分体架构和轻量佩戴的长期验证,与Google、高通共同定义新终端如何工作 [37] 产品现实边界与远期构想 - AURA眼镜重量仍高于普通眼镜不少,连接眼镜与计算单元的线缆在起身走动、收纳进包或反复摘戴时仍有牵绊,续航还撑不起一整天使用 [38] - 通用Android应用保住开箱可用,但能吃掉空间交互优势的原生内容仍需开发者花时间持续积累 [38] - 千美元档定价决定其现阶段主要面向早期使用者、开发者和有明确需求的专业用户 [38] - 徐驰设想Life Agent:让交互从执行命令走向理解处境,眼镜贴近视线兼具显示、语音与环境感知能力,天然处在演进路径入口 [42] - AURA当前不具备复杂生理监测功能,Life Agent仍属远期构想,但AURA已把空间计算与多模态Gemini带到人类视线正前方,为远期构想搭起能在日常真实运行的产品底座 [42]
美团发布1.6万亿参数大模型,全国产算力训练
观察者网· 2026-11-02 17:12
文章核心观点 - 美团发布新一代大模型LongCat-2.5,这是一款面向长程智能体任务的原生多模态模型,总参数达1.6万亿,训练全程由国产算力完成 [1] - LongCat-2.5在LongCat-2.0基础上进一步强化原生视觉理解与智能体编程能力,并优化国产算力上的长上下文训练与推理效率,整体能力比肩当前国际成熟闭源模型和头部开源模型 [2][3] - 公司围绕“支持主业”目标,重点强化商业分析、软件开发等能力,模型和AI产品用于支持主业、提升用户与商户体验及公司经营效率 [3] 模型发布与迭代历程 - 11月2日,美团发布新一代大模型LongCat-2.5 [1] - 今年6月,美团发布LongCat-2.0,首次在国产算力上完成万亿参数模型的全流程训练与推理 [2] - 时隔不到半年,LongCat-2.5在此基础上进一步强化原生视觉理解与智能体编程能力 [2] 训练技术与算力优化 - LongCat-2.5在中训练阶段采用最长达1M token的序列开展长上下文训练,累计训练量达数万亿token [2] - 针对国产算力单卡显存较小的挑战,公司与国产算力厂商协同优化显存使用、卡间通信以及计算与传输效率,围绕超节点优化任务分工,让参数与任务数据的主要通信在超节点内的高速互联网络中完成 [2] - 在所测长上下文监督微调任务中,优化后的单卡训练吞吐量较DDP(分布式数据并行)基线提升86%,相当于一张卡在同样时间内完成原来约1.86张卡的工作量,处理效率接近翻倍 [2] 性能评测表现 - 根据模型评测结果,在多项主流基准评测中,LongCat-2.5的成绩介于Claude-Opus-4.8与Claude-Opus-5之间,并在部分评测中超过Claude-Opus-5 [3] - 整体能力比肩当前国际成熟闭源模型和头部开源模型 [3] 战略定位与业务方向 - 今年8月28日的美团二季度财报电话会上,CEO王兴表示,AI能力的长期价值在于能否真正进入真实工作流、解决真实问题 [3] - 公司表示不会成为Token工厂,模型和AI产品将用于支持主业,提升用户、商户体验和公司经营效率 [3] - 围绕“支持主业”目标,LongCat-2.5重点强化了商业分析、软件开发等能力 [3]
多项指标排名第一,全双工实时交互系统MOSS-Live发布
机器之心· 2026-11-02 15:10
文章核心观点 - 当前语音AI在识别与合成上已较成熟,但缺乏真正实时自然的对话能力,难以判断何时说话、何时闭嘴、如何处理打断与任务并行 [3][4][5] - 模思智能发布全双工实时交互系统MOSS-Live,能在说话同时持续倾听,结合语义判断回应时机,支持打断恢复、多模态理解、工具调用与流式同声传译 [7][8] - MOSS-Live在多项实时语音交互基准上领先GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex等系统 [9] - 行业正从单一模态的生成理解走向多模态协同的全模态实时交互智能 [42] 产品技术架构 - 全双工的核心难点在于理解声音在对话中的语义含义,而非仅同时收发声音;需持续结合语义与对话状态判断继续说、沉默、接受打断或忽略无关声音 [12][13][14] - 采用前后台协同架构:前台交互模型负责实时感知与对话,持续接收语音画面环境声音并跟踪对话状态;后台模型负责复杂推理与长程任务执行,通过记忆、上下文和任务状态管理实现协同 [17] - 支持按用户设定规则实现主动交互,如背诵纠错、会议特定事项提醒,无需每次等待明确指令 [18] - 支持实时视频与屏幕共享结合画面理解场景,支持工具调用与后台异步执行并在结果返回后主动反馈 [8] 评测表现:全双工能力 - FDB v1停顿抢话率(不含附和)为1.44%,大幅低于GPT Realtime 2.1的3.83%、GPT-Live-1的10.37%和Doubao SeedDuplex的14.29% [24] - FDB v1.5无关语音误接话率仅2.00%,其他参评系统在68%至88%之间;无关打断拒识率达68%,为参评系统最高 [25] - τ-Voice抗干扰测试中,附和抗干扰率98.17%,口头禅和无关语音干扰抗干扰率分别为82.16%和78.90%,均位列参评系统第一 [27] 评测表现:语音理解与多轮对话 - FDB v1上下文衔接测试中,打断后回答质量获4.88分(满分5分),位列参评系统第一 [30] - FDB v2场景处理测试中,涉及实体跟踪、纠错与安全的综合得分3.63分(满分5分),取得最高成绩 [30] 评测表现:工具调用与多轮任务 - FDB v3工具调用评测成功率51%,与Doubao SeedDuplex并列最高;GPT Realtime 2.1为39%、GPT-Live-1为45%、Qwen Audio 3.0 Plus为33%、Qwen Audio 3.0 Flash为34% [32] - τ-Voice多轮任务评测成功率57.93%,仅次于GPT-Live-1的67.68%;Doubao SeedDuplex为17.38%、Qwen Audio 3.0 Plus为54.27%、Qwen Audio 3.0 Flash为44.51% [32] 实际应用场景 - 多人会议:以AI参会者身份参与讨论,区分随口附和与真正打断,主动查询上海杭州天气及同期大型活动,会后整理结论与待办事项 [34] - 车载助手:规划舟山两日自驾游,中途临时改变偏好并穿插询问船票、停车费用和住宿选择,后台继续查询酒店,多次切换话题后可恢复此前规划,导航语音未被误识别为用户指令 [35] - 实时视频导览:外国游客通过手机交流,AI根据位置规划经外滩、南京路的游览路线,结合实时画面识别和平饭店并介绍历史,游客临时询问房价和餐饮后可继续之前讲解 [36] - 流式同声传译:持续接收源语言语音同时实时输出目标语言,实际延迟受网络等因素影响 [37] 行业趋势与开发范式 - 语音AI正转向能持续参与交流、理解场景并执行任务的实时智能体 [39] - 开发者过去只需串联ASR、大语言模型和TTS即可搭建基本语音问答系统;要让AI参与会议、承担实时助手职责或在视频通话中持续执行任务,还需处理打断、并发任务、上下文同步、多模态输入和执行状态管理等问题 [39] - 行业下一阶段重点在于让单一模态能力协同,支撑自然连贯、聊天与执行任务两不误的智能交互 [42] 公司动态 - MOSS-Live已开放在线体验与API接入,并提供限时免费API使用机会 [10][39] - 10月中旬宣布完成超10亿元Pre-A轮融资,由华控基金领投 [40] - 两周前开源5B参数图像生成模型MOSS-Image,重点探索文字渲染和Layout布局控制,Hugging Face模型下载量突破300万 [40] - 新一代MOSS-TTS 2.0已进入Preview内测阶段即将正式上线,探索声音克隆、情绪控制等能力 [40] - 公司正围绕视觉、语音与实时交互逐步拓展多模态模型能力,推进全模态实时交互智能研发与能力建设 [42]
老师各有所长,合版却起冲突?京东×南大提出Road MOPD缓解风格与跨领域学习干扰
机器之心· 2026-11-02 15:10
文章核心观点 - 京东零售视觉多模态与AIGC团队联合南京大学提出Road MOPD方法,解决多教师在线策略蒸馏中不同领域教师指导相互干扰导致“一科进步、另一科退步”的合版冲突问题 [1][32] - 方法核心是让多位教师共同评价学生的同一份回答,通过跨教师反馈增强共识信号、减弱分歧信号,并在参数更新前削减冲突分量,在减少学习干扰的同时保留目标任务的学习力度 [1] - 实验表明收益可延伸到低冲突组合及三领域联合训练场景,为将不同专家能力整合进同一学生模型提供了方法支撑 [32][33] 背景与问题:教师差异大,按领域各教各的还不够 - 在线策略蒸馏(OPD)让学生先生成回答,教师再沿实际生成内容逐token提供反馈,传统多教师OPD按领域独立监督,其他教师不参与对当前回答的联合评议 [5] - 数学+代码组合梯度冲突层占比均值仅2.2%,各项基准成绩大多保持或提升;但数学+医学、代码+医学冲突层占比均值分别升至45.2%和36.6%,训练后期更突出,两组组合中四项医学基准全部低于单领域OPD [8] - 这暴露传统MOPD在教师差异较大时的合版难题:领域路由分开了监督来源,却没有协调它们对共享参数的影响 [8] - 真实业务中商品理解、素材质检、风控合规等任务的能力合版同样需要协调不同业务专家指导,让统一模型吸收业务专长同时保持通用多模态能力 [1] 方法设计:跨教师协同守护 - Road MOPD保留领域专家的主要监督职责,同时请辅助教师评价相同的学生回答、相同的上下文,辅助教师扮演跨领域评议者提供兼容性线索,并引入学生初始化时的冻结副本作为所有教师表达修正方向的共同参考 [10] - 第一步把教师共识落实到每个token:比较两位教师相对冻结参考模型的token概率,方向一致则增强、存在分歧则减弱,一致性信号经平滑、限幅后变成调节系数,证据接近零时回到接近标准OPD的监督 [14] - 该方法能识别教师绝对概率不同但修正方向相同的情况,调节作用于主教师的相对奖励信号,而非把整项损失简单乘上一个权重 [15] - 实验依据:固定学生模型后按教师分歧从低到高分成五组,医学领域梯度冲突率从46%升至76%,说明文本层面意见差异能提供更新冲突线索 [17] - 第二步减少冲突也保留学习力度:引入预防性梯度投影,用调整后监督计算目标梯度、用辅助教师标准OPD监督计算辅助梯度,按参数张量检查内积,方向兼容则保留、冲突时移除部分不兼容分量,辅助梯度只提供约束方向不直接作为独立更新 [19] - 与常见PCGrad协调不同任务各自数据形成的梯度不同,Road MOPD检查其他教师对当前回答的反馈,提前约束当前更新 [19] - 投影设置目标梯度的范数保留下限并自适应选择投影强度,消融中改为完全投影后两组高冲突设置综合分分别下降0.83和0.44分 [21] - 辅助教师不止一位时,先汇总教师一致性,再在同一个范数保留下限内依次投影 [22] 实验结果 - 实验采用Qwen3-4B和Qwen3-1.7B,均关闭thinking模式,覆盖数学、代码、医学的11项基准,与Vanilla MOPD、ExOPD、Open-MOPD、CaMOPD等方法比较 [24] - 4B学生在数学+医学联合训练中,数学均分从45.97升至47.60(提高1.63个百分点),医学从39.45升至48.23(提高8.78个百分点),两域综合分从42.71升至47.92 [24] - 代码+医学组合:代码均分从60.53升至63.02(提高2.49个百分点),医学从40.75升至47.75(提高7.00个百分点),两域综合分从50.64升至55.38,两组设置中两个领域均分均领先所比较的多领域方法 [24] - 1.7B学生代码+医学组合较Vanilla MOPD分别提高2.15和5.58个百分点;数学+医学存在取舍:数学从28.36降至27.21,医学从31.18升至36.89,综合分从29.77升至32.05 [27] - 两种学生规模、两组高冲突组合共四组实验中,Road MOPD均取得最高双域综合分,领先各组最强综合基线0.72—2.89分;1.7B学生的数学、代码均分仍略低于ExOPD,但按领域等权衡量整体表现更好 [27] - 4B学生联合学习数学+代码时,两域均分较Vanilla MOPD分别提高1.61和1.83个百分点,综合分达到55.40,收益延伸至低冲突场景 [27] - 扩展到数学、代码、医学三领域后,4B学生三个领域均分较Vanilla MOPD分别提高0.31、1.68、7.42个百分点,均领先所比较的多领域方法,综合分达到52.89,比Vanilla MOPD提高3.13分,比次优的CaMOPD提高1.18分 [28] - 评测口径为领域内先对基准取平均,综合分再按领域等权平均,医学结果来自文本问答基准 [30] 行业意义与团队背景 - 跨教师反馈为缓解“学会一科、退步一科”提供了有效路径,也为将不同专家能力整合进同一个学生模型提供了方法支撑 [33] - 研究由南京大学LAMDA实验室与京东零售视觉多模态与AIGC团队联合完成,Shi-Yu Tian与Yong Liu为共同第一作者 [35] - 南京大学LAMDA实验室由中国科学院院士周志华领导,依托计算机软件新技术全国重点实验室,长期深耕机器学习与数据挖掘,围绕集成学习、半监督学习、多示例与多标记学习等方向开展基础理论、算法方法与应用研究 [35] - 京东零售视觉多模态与AIGC团队立足零售业务一线需求,聚焦多模态商品理解、可控视觉生成与虚拟试穿,研发了电商多模态理解模型OxygenVLM、面向多品类虚拟试穿的Oxygen-TryOn等模型 [35]
美团发布新一代大模型,国产算力赋能本地生活商家
南方都市报· 2026-11-02 14:53
文章核心观点 - 美团发布新一代大模型LongCat-2.5,这是一款面向长程智能体任务的原生多模态模型,总参数达1.6万亿,全程在国产算力上训练,是目前国产算力上完成的最大训练任务 [1] - 公司强调模型和AI产品将用于支持主业,提升用户、商户体验和公司经营效率,而非成为“Token工厂” [1] - 围绕“支持主业”目标,LongCat-2.5重点强化商业分析、软件开发等能力,为本地生活商家配备AI帮手 [1] 模型技术与训练特点 - LongCat-2.5延续此前LongCat系列模型的研发方向,全程在国产算力上训练 [1] - 在全程国产算力训练基础上,进一步强化原生多模态能力,将视觉输入转化为模型可统一处理的token,提升视觉理解能力 [1] - 支持交互网页、3D展示页面等任务 [1] - 智能体编程方面,模型采用大规模长程强化学习,提升端到端工程任务能力,更好地支持复杂软件开发任务 [1] AI经营工作台“妙手” - 基于LongCat系列模型,公司推出AI经营工作台“妙手”,为本地生活商家配备AI帮手 [3] - “妙手”帮助商家在高价值经营场景中理解行业指标和品牌规则,并在商家授权范围内调用工具与系统、完成经营任务执行 [3] - 目前“妙手”已服务古茗、徐升记、益禾堂等连锁品牌 [3] - 融入品牌经营分析、门店管理和增长获客等高价值经营场景,帮助商家从发现问题走到决策和执行 [3] 管理层战略表态 - 公司CEO王兴在二季度财报电话会上表示,AI能力的长期价值在于能否真正进入真实工作流、解决真实问题,并形成长期稳定的基础设施能力 [1] - 公司明确不会成为“Token工厂”,模型和AI产品将用于支持主业 [1]