“幻觉”影响“可靠性”!Salesforce高管称“对大模型的信任度已经下降”,已减少使用程度

文章核心观点 - 企业软件巨头Salesforce正在其核心AI产品Agentforce中减少对生成式AI的依赖,转而采用更多基础的“确定性”自动化技术,以应对大模型在实际应用中出现的可靠性问题,如“幻觉”和“漂移”[1][2][3] - 这一策略调整旨在提高软件可靠性和业务流程的精确性,确保关键任务每次都能遵循相同步骤,从而“消除大模型固有的随机性”[1] - Salesforce的策略转变反映了整个行业在应用大语言模型时面临的普遍性挑战,即模型可能偏离预期用途或无法可靠处理复杂指令[2][5] 技术挑战与可靠性问题 - 当给大语言模型超过8个指令时,它会开始遗漏指令,这对需要精确处理的任务而言并不理想[2] - 大模型存在“幻觉”等技术故障,在处理精确任务时可能导致不可靠的结果[1] - AI“漂移”现象是另一个关键挑战,即当用户提出无关问题时,AI代理会失去对其主要目标的关注[3] - 行业案例显示,由企业AI初创公司Sierra提供支持的Gap Inc聊天机器人曾回答关于成人用品和纳粹德国的问题,凸显了大模型偏离预期用途的普遍性问题[5] 策略调整与解决方案 - Salesforce在Agentforce中使用基于预定义指令的确定性自动化,而非完全依赖AI模型的推理和解释能力[1] - 为解决指令遗漏问题,公司与客户合作设置了“确定性触发器”,例如确保每次客户互动后都能发送满意度调查[2] - 公司开发了Agentforce Script系统,通过识别哪些任务可由不使用大模型的“代理”处理,来最小化大语言模型的“不可预测性”,该系统目前处于测试阶段[3] - 公司今年完善了主题结构,加强了防护措施,提高了检索质量,并调整响应以更具体、更符合上下文[4] 产品影响与市场表现 - Agentforce预计年收入将超过5亿美元[1] - 尽管CEO曾表示Agentforce处理了Salesforce大部分客户服务询问,并使公司能够裁减约4000名客户服务人员,但公司近期似乎减少了其客户服务代理对大模型的使用[4] - 公司预计在1月底结束的财年中,已解决对话数量将增长90%[4] 客户案例与效果 - 家庭安防公司Vivint为250万客户使用Agentforce处理客户支持,但遇到了可靠性问题,例如有时会不发送指定的满意度调查[2] - 使用“确定性触发器”等基础自动化形式后,不仅降低了Vivint的运营成本,也为客户提供了更低的价格[2]