20个企业级案例揭示Agent落地真相:闭源模型吃掉85%,手搓代码替代LangChain
36氪·2025-12-10 20:12

核心观点 - 加州大学伯克利分校发布AI Agent领域迄今最大规模实证研究,基于306名从业者调研及20个企业级案例,覆盖26个行业,揭示了生产级AI Agent的部署现状、技术选择与核心挑战 [1] 部署动机与首要场景 - 73%的从业者部署Agent的首要目的是提高生产力 [2] - 其他主要动机包括:63.6%为减少人工工时,50%为自动化常规劳动 [4] - 相比之下,质性收益如风险规避(12.1%)和加速故障响应(18.2%)排名靠后 [4] - 部署优先考虑能带来直接、可量化回报的场景 [6] - 金融与银行业是Agent应用第一大战场,占比39.1%,其次是科技(24.6%)和企业服务(23.2%) [9] 应用角色与用户 - Agent的角色类似人类的“超级实习生”,深入严肃的商业流程,已走出写代码或聊天机器人范畴 [8][9] - 92.5%的Agent直接服务于人类用户,其中52.2%服务于企业内部员工 [11] - 仅7.5%的Agent服务于其他软件系统,Agent间全自动交互尚不成熟 [11] - 66%的生产系统允许分钟级或更长的响应时间,因相比人类工时仍是巨大效率提升,开发重心在质量与可靠性而非极限低延迟 [11] 技术选型与构建哲学 - 生产级AI Agent构建哲学是“大道至简”,优先选择简单、可控、可维护的技术路径 [12] - 模型选择上闭源是绝对主流:在20个深度案例中,85%(17个)使用了闭源模型,首选Anthropic的Claude系列和OpenAI的GPT系列 [13] - 选择闭源的核心逻辑是效率,对于辅助专家的场景,推理成本相比人力成本可忽略不计 [13] - 开源模型被视为特定场景补充,主要用于大规模高推理场景下的成本效益考量或受法规限制的数据隐私场景 [13] - 70%的案例直接使用现成模型,完全不进行权重微调,学术界热衷的微调和强化学习极少使用 [13] - 从业者精力集中于构建Prompt:78%的系统采用全手动或手动+AI辅助方式构建生产环境Prompt,12%的Prompt超过10,000个Token [16] 系统设计与自主性约束 - 为降低不可控性,Agent自主性被严格限制:68%的系统在需要人工干预前执行步骤不超过10步,47%的系统少于5步 [17] - 限制步数的主要原因包括保证可靠性、控制API调用成本以及控制延迟 [19] - 80%的案例采用预定义的静态工作流,Agent在固定流程内做决定,不能发明新步骤 [19] - 尽管60%的问卷调查者表示愿意用第三方框架,但在实际案例中,85%的团队选择完全自研,直接调模型API,以获得完全控制权并减少依赖臃肿 [19][20] 评估方法与基准测试 - 基准测试参考价值低:75%的团队完全不使用公开学术榜单,因企业业务高度特殊 [21] - 剩余25%的团队从零开始构建自定义基准 [21] - 人工循环验证是主导评估方法,被74.2%的从业者采用 [21] - 在开发阶段,领域专家直接审查输出正确性、安全性和可靠性;在运行阶段,人类作为最终决策者和安全护栏 [23] - 自动化评估也有应用:51.6%的团队使用LLM作为裁判,但所有团队都结合了人工验证,典型做法是LLM评分后高分自动通过、低分转人工,同时人工定期抽查高分样本 [25] 核心挑战与应对策略 - 可靠性是头号挑战:37.9%的人将“核心技术问题”(可靠性、鲁棒性)列为头号挑战,远超合规性(17.2%)和治理问题(3.4%) [26] - 可靠性挑战源于基准难建、测试难做(传统单元测试失效)以及反馈延迟 [27] - 安全与合规性问题通常通过“约束设计”解决,常见方法包括:限制Agent为只读操作、使用沙盒环境、构建API封装层限制抽象层、尝试实施权限控制 [27] - 系统能上线的答案是“约束性部署”,具体模式包括环境约束(如沙盒)和自主性约束(如限制步骤与预定义流程) [28] - 仅利用现有前沿大模型和相对简单的提示工程技术,就足以在超过26个不同行业中创造可观、可量化的商业价值 [29]