大模型路由
搜索文档
为 OpenAI 秘密提供模型测试, OpenRouter 给 LLMs 做了套“网关系统”
海外独角兽· 2025-09-23 15:52
公司概况与市场定位 - OpenRouter是一家成立于2023年初的模型路由平台,为用户提供统一的API Key来调用各类大语言模型[6] - 公司定位为大语言模型的聚合器和市场,可被视为Stripe与Cloudflare的结合体,提供统一的控制面板来编排、发现和优化所有智能需求[31] - 截至2025年8月,平台已接入超过470个模型,用户可通过OpenRouter管理所有模型的账单[31] - 2025年6月,公司完成4000万美元融资,投后估值达5亿美元,投资者包括a16z和Menlo Ventures[6] 业务模式与核心价值 - 核心业务是模型路由,根据用户的提示词自动或按指定条件(如价格、时延)将请求路由至最合适的模型和供应商[6] - 解决了API调用的三大痛点:缺少统一市场与接口、API不稳定、成本与性能难以平衡[7][9] - 通过接入大量模型(包括同一开源模型的多个供应商)实现自动故障转移,增强了API稳定性[9] - 可将简单任务分配给低成本模型,复杂任务交给高性能模型,帮助用户实现成本与性能的最佳平衡[9] 运营数据与增长表现 - 平台token用量经历高速增长,从2025年初的4050亿增长到8月的32100亿,增长约8倍[6] - 周请求量从年初的4050亿tokens增长到9月的49000亿,增长超过12倍[2] - 闭源模型在平台上占据主导地位,消耗了约70%–80%的token[48] - 开源模型是增长最快的类别,常承担“优化最后一公里”的角色,用户为降低成本或优化特定场景会从闭源转向开源[50] 技术优势与运营策略 - 通过智能负载均衡将请求发送到最适合的供应商,使模型运行时间比直接连接供应商平均提升5%到10%[37] - 整个路由过程仅增加约20到25毫秒的延迟,所有服务部署在离用户服务器很近的边缘节点[37] - 采用token作为核心衡量单位,避免了因模型价格快速下降对排名产生的干扰,并能体现时间维度和实际使用价值[38][40] - 创建了各种路由通道,让用户对模型访问方式保持完全控制,同时提供大量分析数据帮助用户发现有效模型[34][37] 行业影响力与合作伙伴 - 发布的模型用量报告在业内和社交媒体上引发广泛讨论,成为开发者和投资人群体的必读内容[3][10] - 马斯克曾多次引用OpenRouter数据宣传Grok Code,称其调用量突破1万亿次,为平台带来巨大曝光[15] - OpenAI在模型正式发布前会用其他名字在OpenRouter上秘密上线,用于收集开发者反馈,例如GPT-4.1曾以Quasar Alpha名称测试[40][41] - 拥有专门运行开源基准测试的社区,积累了大量小众但有价值的基准测试,为模型提供商提供真实、客观的反馈[43][46] 未来发展方向 - 战略目标是成为智能体(Agent)的最佳推理层,为所有模型添加记忆、网页搜索等有状态的智能体能力[3][57] - 致力于避免供应商锁定,让开发者始终拥有选择权,可以自由切换到更智能的模型[60] - 计划在个人账户层面实现三大功能:开箱即用的记忆功能、更智能的模型选择建议、更深入的响应分析[55][56][57] - 未来可能与其他公司合作或自行构建工具,确保开发者不会感到被束缚,保持对智能体运作方式的控制[57][60]