Workflow
Prompt
icon
搜索文档
20个企业级案例揭示Agent落地真相:闭源模型吃掉85%,手搓代码替代LangChain
36氪· 2025-12-10 20:12
核心观点 - 加州大学伯克利分校发布AI Agent领域迄今最大规模实证研究,基于306名从业者调研及20个企业级案例,覆盖26个行业,揭示了生产级AI Agent的部署现状、技术选择与核心挑战 [1] 部署动机与首要场景 - 73%的从业者部署Agent的首要目的是提高生产力 [2] - 其他主要动机包括:63.6%为减少人工工时,50%为自动化常规劳动 [4] - 相比之下,质性收益如风险规避(12.1%)和加速故障响应(18.2%)排名靠后 [4] - 部署优先考虑能带来直接、可量化回报的场景 [6] - 金融与银行业是Agent应用第一大战场,占比39.1%,其次是科技(24.6%)和企业服务(23.2%) [9] 应用角色与用户 - Agent的角色类似人类的“超级实习生”,深入严肃的商业流程,已走出写代码或聊天机器人范畴 [8][9] - 92.5%的Agent直接服务于人类用户,其中52.2%服务于企业内部员工 [11] - 仅7.5%的Agent服务于其他软件系统,Agent间全自动交互尚不成熟 [11] - 66%的生产系统允许分钟级或更长的响应时间,因相比人类工时仍是巨大效率提升,开发重心在质量与可靠性而非极限低延迟 [11] 技术选型与构建哲学 - 生产级AI Agent构建哲学是“大道至简”,优先选择简单、可控、可维护的技术路径 [12] - 模型选择上闭源是绝对主流:在20个深度案例中,85%(17个)使用了闭源模型,首选Anthropic的Claude系列和OpenAI的GPT系列 [13] - 选择闭源的核心逻辑是效率,对于辅助专家的场景,推理成本相比人力成本可忽略不计 [13] - 开源模型被视为特定场景补充,主要用于大规模高推理场景下的成本效益考量或受法规限制的数据隐私场景 [13] - 70%的案例直接使用现成模型,完全不进行权重微调,学术界热衷的微调和强化学习极少使用 [13] - 从业者精力集中于构建Prompt:78%的系统采用全手动或手动+AI辅助方式构建生产环境Prompt,12%的Prompt超过10,000个Token [16] 系统设计与自主性约束 - 为降低不可控性,Agent自主性被严格限制:68%的系统在需要人工干预前执行步骤不超过10步,47%的系统少于5步 [17] - 限制步数的主要原因包括保证可靠性、控制API调用成本以及控制延迟 [19] - 80%的案例采用预定义的静态工作流,Agent在固定流程内做决定,不能发明新步骤 [19] - 尽管60%的问卷调查者表示愿意用第三方框架,但在实际案例中,85%的团队选择完全自研,直接调模型API,以获得完全控制权并减少依赖臃肿 [19][20] 评估方法与基准测试 - 基准测试参考价值低:75%的团队完全不使用公开学术榜单,因企业业务高度特殊 [21] - 剩余25%的团队从零开始构建自定义基准 [21] - 人工循环验证是主导评估方法,被74.2%的从业者采用 [21] - 在开发阶段,领域专家直接审查输出正确性、安全性和可靠性;在运行阶段,人类作为最终决策者和安全护栏 [23] - 自动化评估也有应用:51.6%的团队使用LLM作为裁判,但所有团队都结合了人工验证,典型做法是LLM评分后高分自动通过、低分转人工,同时人工定期抽查高分样本 [25] 核心挑战与应对策略 - 可靠性是头号挑战:37.9%的人将“核心技术问题”(可靠性、鲁棒性)列为头号挑战,远超合规性(17.2%)和治理问题(3.4%) [26] - 可靠性挑战源于基准难建、测试难做(传统单元测试失效)以及反馈延迟 [27] - 安全与合规性问题通常通过“约束设计”解决,常见方法包括:限制Agent为只读操作、使用沙盒环境、构建API封装层限制抽象层、尝试实施权限控制 [27] - 系统能上线的答案是“约束性部署”,具体模式包括环境约束(如沙盒)和自主性约束(如限制步骤与预定义流程) [28] - 仅利用现有前沿大模型和相对简单的提示工程技术,就足以在超过26个不同行业中创造可观、可量化的商业价值 [29]
别听模型厂商的,“提示”不是功能,是bug
虎嗅· 2025-08-10 10:13
AI投资与创业趋势 - Conviction投资的AI公司包括Cursor、Cognition、Mistral、Thinking Machines、Harvey和OpenEvidence等,涵盖基础设施、模型和应用层[2][9] - AI创业领域正经历前所未有的技术革命,用户对新技术的接纳速度远超历史任何一次技术革命[8][10] - 多家AI公司在极短时间内实现从零到一千万、五千万甚至一亿美元的年化收入,增长速度创纪录[11] AI技术进展与多模态应用 - AI推理能力显著提升,解锁全新应用场景,尤其在需要透明决策和系统性搜索的领域[16][17] - Agent类创业公司申请数量增长50%,部分已在真实世界取得成果[18] - 多模态能力飞速进步,HeyGen、ElevenLabs和Midjourney等公司年化收入突破五千万美元[19][20] - 语音将成为多模态应用最先落地的商业领域,因其自然沟通特性[21] AI应用成功案例与突破点 - Cursor在12个月内实现从100万到1亿美元年化收入,吸引50万开发者用户[29] - Cognition成为许多企业代码提交量最高的"贡献者"[30] - AI Coding成为首个突破口,因代码具备结构化逻辑、可验证性及研究人员重视[33][34][35] - 工程师对工作流程的深刻理解是AI Coding成功的关键因素[36] AI产品构建方法论 - 提示(prompt)是用户体验缺陷而非功能,最佳AI产品应"读懂用户心思"[4][43] - 不要构建通用文本框,OpenAI已赢得该赛道[45] - 利用领域知识构建"懂行"产品,做好智能编排和输出呈现[45] - 传统和技术水平低的行业正以最快速度拥抱AI,呈现"AI跨越式发展效应"[47] AI护城河与执行策略 - 执行力是AI时代真正的护城河,Cursor通过卓越执行赢得市场[53][54] - Jasper虽有先发优势但产品仅为提示词集合,被ChatGPT快速超越[55] - Harvey成立两年年化收入超7000万美元,OpenEvidence每周触达美国1/3医生[56] - 私有数据和深度工作流构成应用构建者的竞争优势[57]
别听模型厂商的,Prompt 不是功能,是 bug
Founder Park· 2025-08-04 21:38
AI投资与创业趋势 - Conviction投资的AI公司包括Cursor、Cognition、Mistral等,覆盖基础设施、模型和应用层[10] - AI公司收入增长迅猛,部分公司在极短时间内实现从零到1亿美元年化收入,增速超历史任何技术革命[11] - 传统行业拥抱AI速度最快,称为"AI跨越式发展效应",如法律、医疗等领域已实现规模化应用[31][33] AI技术进展与多模态机会 - 推理能力成为AI最显著突破,解锁高风险决策、序列化问题等新场景[13] - Agent类创业公司申请量增长50%,多模态应用如HeyGen、ElevenLabs年收入突破5000万美元[14][15] - 语音将成为多模态最先落地领域,医疗咨询、销售等场景迎来新机会[17] - GPT-4价格18个月内从$30/百万token降至$2,蒸馏版低至$0.1,推动应用普及[18] AI应用成功案例与方法论 - Cursor 12个月内收入从100万增至1亿美元,用户达50万开发者[21] - Cognition成为企业代码提交量最高"贡献者",Windsurf被OpenAI以30亿美元收购[21] - 代码成为AI应用突破口因:结构化逻辑、结果可验证、研究人员重视、工程师自我工具开发[23][24] - 成功产品需领域知识、智能编排、精心呈现输出,避免通用文本框[30] 产品构建与竞争策略 - Prompt是过渡阶段缺陷而非功能,最佳产品应"读懂用户心思"[28] - Copilot模式价值被低估,从辅助到自动化是完整光谱[32] - 执行力是AI时代护城河,Cursor通过卓越执行赢得市场[35] - 私有数据和深度工作流构成应用构建者优势,非模型巨头可轻易复制[36] 行业机会分布 - 法律行业Harvey成立两年年收入超7000万美元,医疗领域OpenEvidence覆盖美国1/3医生[33] - 机器人学、生物学等领域存在巨大机会,需创新数据收集方法[34] - 游戏规则每12个月重塑一次,新模型发布带来持续获胜机会[36]
微软CPO专访:Prompt是AI时代的PRD,产品经理的工作方式已经彻底变了
Founder Park· 2025-05-21 20:05
AI时代的产品设计范式转变 - Prompt正在取代传统PRD成为产品构建起点 要求团队在推进新项目时需提供原型和对应提示词集合[1][20] - 自然语言交互(NLI/NLX)成为新UX设计范式 需重新定义对话语法、结构和界面元素等设计原则[14][15] - 产品开发节奏呈现"不均匀"特征:从想法到Demo时间缩短 但从Demo到全面上线周期延长[21] Agent的核心特征与设计原则 - 本质是能自主执行任务的独立软件进程 具备三要素:自主性(任务委托层级)、复杂性(多步骤任务)、自然交互(实时协作)[11][13] - 职场研究型Agent案例展示突破性价值:不仅能节省时间 更能连接用户未察觉的认知突触[6][8] - 交互设计需平衡透明度与效率 包括思考过程展示程度、计划可修改性、智能追问机制等新组件[16][17] 产品经理的能力重构 - "品味"和"编辑能力"成为核心竞争力 需在创意供给爆炸的环境中担任核心决策者[3][25] - 需掌握"AI本能式使用" 通过工具如WWXD(模拟关键人物思维)提升决策质量[26][27] - 角色向"软件指挥者"演变 需保持计算机思维模型但采用更高阶表达方式[22] 从0到1产品的关键方法论 - 区分"解决问题"与"扩大规模"阶段 早期应容忍方向调整避免局部最优陷阱[35][37] - 警惕早期指标的"伪精确性" 定性反馈比CTR/留存率等传统指标更具参考价值[3][36] - 成功产品需至少占据两个转折点:技术飞跃(如LLM)、用户行为变化(如拍照习惯)、商业模式创新[41][42] 企业级AI落地策略 - 采用"双轨制"推进:在确保合规基础上建立Frontier项目让早期采用者先行体验[47][48] - GitHub案例显示系统化优势:代码生成仅是入口 需整合仓库管理、专业领域适配等完整生态[53][54] - Excel的启示:高学习曲线工具可通过复利效应建立护城河 关键在于持续打磨核心价值[55] 未来人机协作趋势 - 将出现"人和Agent共创空间" 重新设计信息流动与任务分配机制[66] - 当前处于"人类驾驶-AI副驾"过渡期 未来自主性将随推理能力提升而增强[4][5] - 产品体验需从单人模式转向多智能体协作 探索异步任务处理等新范式[12][65]