全双工实时AI交互
搜索文档
多项指标排名第一,全双工实时交互系统MOSS-Live发布
机器之心· 2026-11-02 15:10
文章核心观点 - 当前语音AI在识别与合成上已较成熟,但缺乏真正实时自然的对话能力,难以判断何时说话、何时闭嘴、如何处理打断与任务并行 [3][4][5] - 模思智能发布全双工实时交互系统MOSS-Live,能在说话同时持续倾听,结合语义判断回应时机,支持打断恢复、多模态理解、工具调用与流式同声传译 [7][8] - MOSS-Live在多项实时语音交互基准上领先GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex等系统 [9] - 行业正从单一模态的生成理解走向多模态协同的全模态实时交互智能 [42] 产品技术架构 - 全双工的核心难点在于理解声音在对话中的语义含义,而非仅同时收发声音;需持续结合语义与对话状态判断继续说、沉默、接受打断或忽略无关声音 [12][13][14] - 采用前后台协同架构:前台交互模型负责实时感知与对话,持续接收语音画面环境声音并跟踪对话状态;后台模型负责复杂推理与长程任务执行,通过记忆、上下文和任务状态管理实现协同 [17] - 支持按用户设定规则实现主动交互,如背诵纠错、会议特定事项提醒,无需每次等待明确指令 [18] - 支持实时视频与屏幕共享结合画面理解场景,支持工具调用与后台异步执行并在结果返回后主动反馈 [8] 评测表现:全双工能力 - FDB v1停顿抢话率(不含附和)为1.44%,大幅低于GPT Realtime 2.1的3.83%、GPT-Live-1的10.37%和Doubao SeedDuplex的14.29% [24] - FDB v1.5无关语音误接话率仅2.00%,其他参评系统在68%至88%之间;无关打断拒识率达68%,为参评系统最高 [25] - τ-Voice抗干扰测试中,附和抗干扰率98.17%,口头禅和无关语音干扰抗干扰率分别为82.16%和78.90%,均位列参评系统第一 [27] 评测表现:语音理解与多轮对话 - FDB v1上下文衔接测试中,打断后回答质量获4.88分(满分5分),位列参评系统第一 [30] - FDB v2场景处理测试中,涉及实体跟踪、纠错与安全的综合得分3.63分(满分5分),取得最高成绩 [30] 评测表现:工具调用与多轮任务 - FDB v3工具调用评测成功率51%,与Doubao SeedDuplex并列最高;GPT Realtime 2.1为39%、GPT-Live-1为45%、Qwen Audio 3.0 Plus为33%、Qwen Audio 3.0 Flash为34% [32] - τ-Voice多轮任务评测成功率57.93%,仅次于GPT-Live-1的67.68%;Doubao SeedDuplex为17.38%、Qwen Audio 3.0 Plus为54.27%、Qwen Audio 3.0 Flash为44.51% [32] 实际应用场景 - 多人会议:以AI参会者身份参与讨论,区分随口附和与真正打断,主动查询上海杭州天气及同期大型活动,会后整理结论与待办事项 [34] - 车载助手:规划舟山两日自驾游,中途临时改变偏好并穿插询问船票、停车费用和住宿选择,后台继续查询酒店,多次切换话题后可恢复此前规划,导航语音未被误识别为用户指令 [35] - 实时视频导览:外国游客通过手机交流,AI根据位置规划经外滩、南京路的游览路线,结合实时画面识别和平饭店并介绍历史,游客临时询问房价和餐饮后可继续之前讲解 [36] - 流式同声传译:持续接收源语言语音同时实时输出目标语言,实际延迟受网络等因素影响 [37] 行业趋势与开发范式 - 语音AI正转向能持续参与交流、理解场景并执行任务的实时智能体 [39] - 开发者过去只需串联ASR、大语言模型和TTS即可搭建基本语音问答系统;要让AI参与会议、承担实时助手职责或在视频通话中持续执行任务,还需处理打断、并发任务、上下文同步、多模态输入和执行状态管理等问题 [39] - 行业下一阶段重点在于让单一模态能力协同,支撑自然连贯、聊天与执行任务两不误的智能交互 [42] 公司动态 - MOSS-Live已开放在线体验与API接入,并提供限时免费API使用机会 [10][39] - 10月中旬宣布完成超10亿元Pre-A轮融资,由华控基金领投 [40] - 两周前开源5B参数图像生成模型MOSS-Image,重点探索文字渲染和Layout布局控制,Hugging Face模型下载量突破300万 [40] - 新一代MOSS-TTS 2.0已进入Preview内测阶段即将正式上线,探索声音克隆、情绪控制等能力 [40] - 公司正围绕视觉、语音与实时交互逐步拓展多模态模型能力,推进全模态实时交互智能研发与能力建设 [42]