文章核心观点 - AI Agent正成为大模型Token消耗的主体，推动推理服务基础设施发生从“面向人类”到“面向智能体”的范式跃迁，其负载特征、请求模式和成本考量发生根本性变化 [2] - 为应对AI Agent时代的新需求，由多家产学研机构联合打造的“AI Serving Stack”开源项目，通过模块化、标准化的架构设计，旨在填补生产级LLM推理编排的空白，解决推理基础设施的“最后一公里”问题 [16][17] AI Agent时代的范式转变 - **从“人机对话”到“Agent协作”**：AI Agent的请求是持续、高频、结构化的，可能触发多个子Agent形成复杂计算图，要求基础设施能处理毫秒级的级联调用 [4] - **从“单次响应”到“状态化会话”**：AI Agent执行持续任务，会话包含长达数万轮的上下文，导致KVCache需要从GPU临时缓存转变为需持久化、可迁移的“数字记忆体” [5] - **从“规模经济”到“效率经济”**：当Token消耗增长10倍、100倍时，成本成为核心考量，推理基础设施需实现“超卖”与“混部”，并像“数字电网”一样动态调度算力以应对潮汐效应 [6][7] AI Agent对推理基础设施的核心需求 - **需求一：拓扑感知的角色编排**：需将推理服务拆解为Prefill、Decode、KVCache等独立角色，实现独立调度与弹性伸缩，以解决资源错配问题 [9] - **需求二：KVCache为中心的架构**：需实现跨实例、跨节点甚至跨集群的KVCache共享与透明迁移，以支持Agent的长上下文特性并避免重新计算 [10] - **需求三：智能差异化调度**：调度器需理解请求语义，实现KVCache感知、优先级队列等差异化调度，以满足不同Agent任务对SLO（如低TTFT、高吞吐量）的迥异需求 [11] - **需求四：生产级弹性效率**：需将弹性从“分钟级”压缩到“秒级”，并配合反碎片化、潮汐混部等手段，将GPU利用率从30%的低位提升至70%以上 [12] - **需求五：全链路可观测与自优化**：需提供从Token生成到工具调用的全链路追踪，并能基于历史数据自动优化配置，使决策从“人工调参”转向“数据驱动” [13] AI Serving Stack的架构与核心能力 - **模块化设计**：采用模块化设计，将部署管理、智能路由、弹性伸缩、深度可观测等能力解耦为独立组件，用户可按需灵活组装 [16] - **RoleBasedGroup (RBG)**：作为LLM推理的Kubernetes标准API，将推理服务定义为“拓扑化、有状态、可协同的角色有机体”，实现从离散Deployment到拓扑有机体的范式跃迁 [18][19] - **RBG的SCOPE五大核心能力**：基于RBG实现角色原子化、协同策略化、管理统一化、配置智能化，新模型运维耗时从天级缩短至分钟级，支撑PD分离架构实现资源成本节省超50% [19][21] - **智能调度网关 (SMG)**：专为LLM负载设计，实现推理负载感知的差异化调度，将RBG的编排能力转化为业务级性能优势 [22] AI Serving Stack的性能突破与效益 - **以KVCache为中心的PD分离架构**：深度融合Mooncake项目，通过计算与存储解耦及KVCache池化共享，在长文本阅读等多轮对话场景中，使推理吞吐量提升6倍，响应时间降低69.1%，KVCache命中率最高达90% [24][27] - **KVCache感知调度**：基准测试显示，全局近似模式下可实现TTFT降低50%以上、吞吐量翻番，分离感知调度下实现TTFT降低20%以上 [26] - **资源效率与成本节约**：动态P/D比例调整使GPU利用率稳定在65%-75%，配合潮汐混部与反碎片化优化，用户GPU成本减少30%-40%，年度节约近千万元 [29] - **工程效率提升**：一键部署时间<5分钟，发布失败率从23%降至5%，MTTR从数十分钟级降至2分钟内，服务升级中断时间从15分钟缩短至10秒 [29] AI Serving Stack的生态与行业影响 - **全栈开源与多框架兼容**：秉持100%开源架构，支持SGLang、vLLM、TensorRT-LLM等国内外主流推理引擎，并已完成多个国产算力适配，避免商业锁定 [30] - **生态整合效益**：与vLLM/SGLang等主流框架深度适配，TPOT下降20%，推理成本低至0.2美元/每百万Token [31] - **产学研协同典范**：由清华大学、南京大学、阿里云、小红书等多家机构联合打造与维护，采用开放治理模式，快速迭代（每两个月发布一个Minor版本），有效弥合AI基础设施的“配置鸿沟” [32][35] - **行业认可**：获评“2025年度AI工程与部署卓越奖”，标志着开源协作模式在生产级AI基础设施领域的潜力 [32]