行业趋势:企业AI支出转向成本控制 - 企业财务官和董事会开始控制低效的人工智能支出,新的支出纪律正在形成,这可能重塑AI行业的格局 [2] - 过去两年的策略是默认使用最强大的AI模型处理所有查询,而现在随着AI账单远超预算,企业开始质疑是否所有任务都需要顶级或前沿模型 [3] - 行业正从单纯追求最强大模型,转向根据任务复杂度匹配模型的“模型路由”解决方案 [3] 技术方案:模型路由的兴起与应用 - 模型路由是一种根据工作难度匹配模型的工具,将难题发送给昂贵的前沿模型,将简单任务发送给更便宜、更快的替代模型 [4] - Cognition公司的CEO Scott Wu指出,在大量样板工作中,使用足够胜任任务的模型可以获得5到10倍的成本效率提升 [4] - 目前绝大多数(约95%)的企业AI使用仍运行在最昂贵的前沿模型上,即使廉价替代方案可以轻松处理这些任务 [5] 成本压力:企业AI支出的量化冲击 - 成本压力之大甚至令最大的科技公司感到惊讶,思科首席产品官Jeetu Patel列出了具体数据:按每名员工每周约200美元的token使用量计算,每人每年约1万美元 [6] - 对于一家拥有9万名员工的公司,每年AI支出将达到9亿美元 [6] - 思科的AI支出已远超预算,不得不进行调整,目前有3万名工程师使用AI辅助编写产品,公司已重新分配资源,将token支出置于其他支出之上 [7] 供应商应对:市场策略与价值主张调整 - AI供应商认识到客户的焦虑,例如Cognition公司推出了“AI生产力保证”:如果其AI代理Devin提供的工程价值低于客户支付额,公司将提供高达1000万美元的使用额度直至达标 [8] - 行业衡量标准正从消耗的token数量或代码行数等活动指标,转向AI实际节省的人力工程小时数等产出指标 [9] - 如果企业开始将简单、大量的工作导向来自中国或其他地方的更便宜的开源模型,那么OpenAI和Anthropic将无法从每项任务中收费,而只能承接更复杂的工作 [10] 市场影响:定价权转移与行业估值重塑 - 定价权正从销售高端AI的公司向购买AI的公司转移 [12] - 前沿实验室仍将在最困难的工作上收取溢价,但简单任务市场份额的大小,将在很大程度上决定领先AI公司的估值 [12] - 行业定价模式可能发生转变,前沿实验室必须提高模型使用效率,而非单纯提高价格,这预计将引发全行业的协同努力 [11]
Model routing is a fix for AI overspending. That's a problem for OpenAI and Anthropic