产品发布核心 - 小红书智创音频团队推出业内首个支持私有化部署的全双工大模型语音交互系统FireRedChat [2] - 该系统旨在解决延迟高、噪声敏感、可控性差、依赖外部API等行业痛点 [2] - 提供级联与半级联两套端到端服务部署方案，覆盖从稳定易部署到更有温度的不同需求 [2] 技术架构与核心能力 - 基于交互控制器+交互模块+对话管理器的完整架构，可将任意半双工链路一键升级为全双工 [2][11] - 集成自研流式个性化打断pVAD、语义判停EoT、FireRedTTS-1s、FireRedASR、FireRedTTS2等核心模型 [2][11] - 轮次转换控制器基于pVAD与EoT，实时判断对话秩序，显著降低噪声与多说话人场景下的误打断 [11] - 交互模块支持级联模式与半级联模式，后者通过AudioLLM直达语音语义与情感，生成更贴心回应 [7][11] - 对话管理器支持工具调用、RAG检索增强、插件扩展与工作流管理，并内置与Dify的集成样例 [11] 性能优势与实验数据 - 在打断准确率方面，pVAD将误打断率降至10.2%，显著优于LiveKit的33.4%和Ten的78.1% [15] - 语义端点检测准确率方面，EoT在中文和英文上的平均准确率分别达到96.0%和94.9% [16] - 端到端延迟方面，本地级联部署下的P50延迟为2.341秒，P95延迟为3.015秒，逼近工业级闭源系统 [17] 情感交互与用户体验 - 系统能细腻感知用户情绪变化，在用户失落时安慰鼓励，惊喜时共情分享，开心时陪伴欢笑 [4][8] - 通过AudioLLM与FireRedTTS2的联动，捕捉用户声学线索，在回应中自然体现关怀与共情 [8] - 让AI聊天助手不仅能回应文字，更能用富有温度的声音和表达方式，带来被理解、被陪伴的真实感受 [4] 开源与部署策略 - 核心模块TTS、ASR、pVAD、EoT全部开放，无需API费用与外部依赖，坚持彻底开源 [12] - 支持在企业私有环境一键部署，确保数据资产不出域，满足安全合规可审计要求 [12] - 基于LiveKit的清晰模块化设计与完善文档，使普通用户即开即用，开发者可快速二次开发 [12] 应用场景 - 智能语音助手场景可实现自然打断、即时回应，贴近真人对话节奏 [14] - 客服与外呼场景在商场、车站等复杂声场仍能稳定识别与响应 [14] - 教育与心理陪伴场景因情绪感知与表达丰富度而带来更强的同理心体验 [14]