大小模型协同
搜索文档
听懂“话外音”,扛住3.5万咨询,I.T客服Agent怎么做到的?
虎嗅APP· 2025-11-14 00:00
核心观点 - I.T集团通过与网易云商合作部署客服Agent,在月均2.5万通、大促期超3.5万通会话的高压下,显著提升了客服效率与用户体验[4][6] - 项目成功将售前应答速度提升60%,售后单个处理时长从7分钟缩短至3分钟[4][8] - 该案例为企业提供了从场景选择、多Agent协同到大小模型协作的AI落地方法论,实现了从“可用”到“好用”的跨越[4][8] 项目背景与核心诉求 - I.T集团作为多品牌买手制时尚集团,客服场景复杂,从售前尺码推荐到售后退货安抚均需精准理解用户意图[6] - 客服团队规模有限,日常每月需应对2.5万通会话,大促期间会话量超3.5万通,客服压力巨大[6][9] - 核心诉求是通过智能化升级,重点提升机器人在复杂场景下的意图识别与多轮应答能力,以拦截更多需人工接待的会话[6][9] 试点场景选择与扩展 - 试点场景选择基于高频性、小模型存在瓶颈、以及需要复杂流程或上下文记忆能力三个标准[10] - 最终选择了“尺码推荐”、“订单取消”、“退货安抚”三个高频且传统NLP机器人效果不佳的场景作为切入点[7][10] - 项目从最初三个试点场景扩展到覆盖售前、售中、售后全旅程的十八个具体场景,由十个Agent共同支撑[12][13][15] 实施阶段与关键技术攻坚 - 第一阶段聚焦于教会AI理解用户“话外音”,例如通过设计意图澄清Agent应对“我买多了”等模糊表达,实现会话精准分流[7][17] - 第二阶段解决多Agent协同“静默”问题,通过增设“寒暄Agent”专门处理“你们服务不错”等与业务无关的寒暄语,确保对话流畅[8][18] - 第三阶段实现大小模型高效协作,通过重新划分知识边界,将简单固定问答交由小模型,复杂咨询问题划归大模型处理[8][21] 复杂场景处理示例 - 以“退款”场景为例,其复杂性在于用户意图的多样性和模糊性,用户常以“我买多了”、“颜色不对”等间接表达[7][17] - Agent通过主动追问澄清意图,并根据物流状态、商品条件等多个判断条件逐步引导用户至正确业务流程[17] - 在转接人工前,Agent会总结会话内容,提炼客户退款原因及关键信息,助力人工坐席快速接手[17] 项目评估与知识管理 - 评估Agent表现的三大核心指标为意图识别匹配率、问题解决率以及用户满意率[25] - 知识库分为静态知识(如退换货政策)和动态知识(如商品信息、优惠活动),后者通过系统接口对接实现自动化更新[26] - 合作流程分为需求确认、POC验证、正式交付三个阶段,并提供自运营工具确保客户能顺利接手并持续优化[27][28] 成功落地关键要素 - 开发了如“AI知识萃取”工具,可将原始PRD文档自动转化为高质量FAQ,为客户省去巨大知识整理成本[29][30] - 提供“AI知识编排”能力,旨在解答客户问题时能“比客户多想一步”,提升服务体验与完整性[32][33] - 通过工具将历史对话信息转化为新的AI知识飞轮,持续优化项目落地效果[34]
AI大变革时代,一家智能手机方案提供商如何成为红海破局者?
36氪· 2025-10-14 09:05
行业宏观趋势 - 2025年智能手机行业迎来回温,2024年中国AI手机出货量同比激增591%,渗透率从2023年的3%跃升至22% [1] - 预计2025年AI手机出货量将突破1.18亿台,占据整体市场的40.7%,AI手机被视为功能机、智能手机后的第三阶段 [1] - 行业从参数堆砌和通用大模型研发竞赛,转向注重体验的真实跃升和务实价值 [1] 公司AI核心战略 - 公司确立“前置小模型+后端大模型”的动态协同方案,作为其在AI时代的关键战略 [8] - 在通用功能方面与科大讯飞、字节、阿里、Google等巨头合作,整合其成熟大模型算力 [9] - 同时部署约6亿参数的垂直小模型,专攻通话总结、文档概要、意图理解等任务,在设备端完成快速响应 [9] - 小模型方案在垂直任务处理上更具针对性,且能保障数据本地化,满足海外市场对隐私和安全的核心需求 [11] - 公司研发投入连续三年攀升,2024年增幅超过40%,达到2.26亿元,以构建从硬件到软件的全栈式研发能力 [12] 公司AI产品与应用 - AI语音助手能理解自然语言,根据模糊指令主动推演,并学习用户偏好提供个性化服务,如自动调整设置、推荐信息、整理通话摘要等 [11] - AI助手从被动响应指令升级为具备上下文推理能力的生活伙伴和生产力工具 [11] - 公司AI战略强调硬件产品需回归能否提供不可或缺体验提升的价值标尺 [8] 公司AI硬件新物种布局 - 公司布局AI时代的硬件新物种,寻求主航道之外的增长第二极,重点切入情感连接需求 [5][17] - 锚定5至13岁儿童市场,推出桌面机器人作为“亲密数字伙伴”,具备高清表情屏、超过800种行为表现和长期记忆能力,通过多模态交互营造生命感 [19] - 同时布局AI相框品类,借助AI技术使其从照片展示功能升维为家庭故事的个性化叙述者和记录者,可根据特定群体需求进行个性化语音交互和家居风格适配 [20][22] - 公司认为在技术冲击下,温暖真实的情感连接是AI硬件的核心差异点 [22]
智能投顾的大模型应用,为什么选择了“大小模型协同”?
AI前线· 2025-06-15 11:55
大模型在金融投顾领域的应用挑战与解决方案 - 大模型在金融投顾领域面临的最大技术挑战是如何在高合规门槛的业务中避免幻觉和误答,金融业务容错率低,错误输出可能带来法律风险 [1][2] - 大小模型协同架构通过限制大模型职责范围(任务扩写与流程编排)和核心内容交由小模型完成,在性能、准确性与合规之间找到平衡 [1][2] - 大小模型协同方案在更低算力消耗下实现更稳定、深入的回答效果,提高了回答深度/算力消耗的比率 [3][4] 大小模型协同架构的技术实现 - 架构采用模块化设计,每个环节的大小模型都是解耦且可快速替换的,例如资产配置场景可使用专训的3B或7B模型进行问题扩写 [5] - 通过专训小模型进行意图识别,精准调用对应的小模型完成任务,各环节的小参数LLM或传统小模型都可独立更新 [5] - 基础模型与应用层解耦设计提高了应用稳定性、成长性和私密性,避免过度依赖基础模型 [6] 解决幻觉问题的具体措施 - 采用大小模型映射方式和词向量匹配传统手段进行投顾任务分配 [7] - 产品设计中将不同场景(选股、配置等)分类处理,直接调用对应Agent提高命中率 [7] - 通过知识库约束回答范围、内容和黑名单词汇,避免不合规表述 [7] 实际应用效果与扩展性 - 大小模型协同方案在回答深度和合规性上优于DeepSeek 671B和Qwen72B等大模型 [8] - 方案支持基础模型无缝切换,在基础模型较差时保持专业性下限,强大基础模型时提高上限 [8] - 架构可扩展至保险、财富管理等其他金融领域,但需要为小模型建立特征向量和维护索引 [7][8] 未来AI应用架构趋势 - 未来金融行业AI架构将趋向"语言理解+工具调用"的组合形态,LLM+API将成为主流 [9] - Agent在AI架构的商业实现中越来越重要,复杂场景可能需要LLM+API+RPA组合 [9] - 新技术更可能通过LLM+API调用现有工具(如PS)而非完全替代,形成性价比更高的解决方案 [9]