文章核心观点 - DuplexAgent-RSI 由香港中文大学（深圳）与安菲翁科技联合研发，融合实时语音交互、复杂任务执行与协作机制自我改进，旨在为物理AI时代的智能终端提供更自然高效的交互方式 [1] - 系统核心并非让单一更大模型完成所有事情，而是让实时对话、后台执行和协作控制形成可持续改进的整体 [4] - 语音智能体应从轮流问答工具进化为始终在线的助手，同时处理"持续听和说"与"后台执行搜索、推理、工具调用或代码任务"两条时间线 [1] - 系统通过自动测试、分析失败和验证修改，持续改进自身协作框架（Recursive Self-Improvement）[2] - 目标是从"会聊天"跨越到"会协作把事情做完"，让系统在复杂任务执行中持续知道自己在做什么、用户当前想要什么、何时交付结果 [39][40] 产品架构设计 - DuplexAgent 基本思路是让实时交互与后台执行各司其职，并通过协作控制层协调两者 [8] - 全双工交互模型负责实时听说，使用户在任务执行期间仍可询问进展、补充要求或调整任务 [8] - 需要搜索、复杂推理或编程的工作异步交给后台推理模型和编码智能体 [8] - 协作控制层负责协调任务分派、状态管理、上下文传递与结果交付 [8] - 核心难点在于协作控制：需结合上下文判断"换一个"是替换任务还是新请求，确认后台结果是否符合最新目标，并在用户说话时等待合适时机交付 [9] - 系统维护任务台账，记录任务编号、版本、状态和交付历史，被取消后才返回的任务会被标记为过期，不能再次成为当前结果 [11] 六大协作模块 - 完整协作链路拆分为六个模块，使每种决策都有清晰职责和可观察行为 [11] - Policy：决定直接回答、委托执行还是控制已有任务 [13] - Intake：理解用户请求并判断其对应哪个任务 [13] - Hold：任务执行期间维持对话和进度反馈 [13] - Worker：选择合适的后台智能体并传递任务 [13] - Deliver：决定何时、以何种方式返回结果 [13] - Memory：维护对话和后台任务共享的上下文 [13] - 模块化设计使系统出现问题时可以精确定位是任务理解、上下文、后台执行还是结果交付环节出了问题 [12] 自进化机制（Duplex-Harness-RSI） - 通过自动测试、失败诊断和验证修复形成协作框架的自进化闭环 [16] - 闭环流程为：生成测试→运行协作→记录轨迹→诊断失败→定点修复→配对验证 [17] - 测试模拟器会安排用户在不同时间取消任务、修改目标、插话或与结果返回发生重叠，检查系统是否做出正确的任务控制和交付决策 [17] - 构建了包含19类请求类型和22种交互模式的测试空间，改变说法、语速、语言、口音、说话人和噪声，但保留场景核心要求 [17] - 推理模型担任"出题考官"决定下一轮重点测试内容，编程智能体担任"修复工程师"根据失败证据修改对应模块 [17] - 候选修改须与当前版本在同一组测试上配对比较，并通过独立保护集检查，未带来可靠改善的改动不会被保留 [17] - 自进化有清晰边界：实验中保持模型权重不变，改进的是协作控制层的规则、配置和执行逻辑，在可控测试环境中根据证据逐轮修复 [17] 系统能力评估 - 从语音知识问答、可执行工具调用和全双工交互三方面评估完整系统能力 [21] - Qwen-Audio-3-Realtime 配置下，科学知识语音问答 OBQA 准确率从86.3%提升至92.1% [22] - 多学科语音理解 MMSU 从64.8%提升至82.7% [22] - 工具调用 BFCL 平均分从82.0%提升至90.8%，FDB-v3 Pass@1 从39.0%提升至49.0% [22] - 用户打断后的有效回应率 Interrupt TOR 从89.0%提升至97.0% [23] - Nvidia-VoiceChat 配置下，MMSU 从36.1%提升至80.5%，BFCL 平均分从53.5%提升至75.8%，FDB-v3 Pass@1 从16.0%提升至47.0% [23] - 两种交互模型配置下，DuplexAgent 的问答和工具调用指标均超过对应的 Qwen-Audio-Agent [23] - 提升来自后台推理能力与协作机制的共同配合，系统需判断哪些请求直接回答、哪些需要委派，委派时保留完整问题参数和上下文，结果返回时确认任务是否仍有效及当前是否适合开口 [26][27] 自进化效果验证 - Nvidia-VoiceChat 配置下对比一次性编辑、连续编辑十轮及完整 Duplex-Harness-RSI 闭环 [28] - 固定核心测试集上初始 Harness 协作得分为54.6%，一次性编辑达57.4%，连续编辑十轮达61.9%，完整闭环十轮后达85.3%，比初始版本提升30.7个百分点 [31] - "应该委派却没有委派"的失败占固定核心测试集比例从30.3%降至1.3% [31] - 独立 Qwen-Audio-3-Realtime 实验中，经过8次通过验证并保留的版本更新，协作得分从47.1%提升至84.8% [32] - 整个过程中交互模型权重保持不变，改进发生在协作 Harness 层，每轮测试产生失败轨迹，诊断指出需修复模块，修复档案保留以往尝试，通过新旧版本配对测试和独立保护集决定修改去留 [35] - 失败诊断、修复历史与验证机制让每轮修改积累为更可靠的协作能力 [36] 行业意义与未来方向 - 传统语音助手将一次问答视为完整回合，但真实对话中用户会犹豫、补充、打断、临时改变目标 [38][39] - DuplexAgent-RSI 关注"回合之间"的协作过程：能否听懂用户正在改变什么、让后台任务跟上新目标、在结果仍有效且不打断用户时开口 [39] - 工作价值在于让语音智能体在复杂任务执行中持续知道自己在做什么、用户现在想要什么、何时应交还结果 [40] - 递归自进化目前主要作用于协作 Harness，交互模型参数保持不变，但并非终点 [40] - 论文构建的测试模拟器、带时间信息的交互场景及可验证协作轨迹具备进一步复用潜力 [40] - 下一步团队将把这些测试与轨迹用于 Agentic RL 智能体强化学习，让交互模型本身也能从全双工协作失败经验中学习，提升对打断、停顿、轮次切换和复杂任务协作的理解能力 [40] - 届时自进化将从 Harness 层延伸到模型层，形成更完整的全双工语音智能体递归改进闭环 [41]