Workflow
腾讯邱跃鹏:推理需求爆发,云基础设施也要同步升级

行业趋势 - 2025年AI应用爆发并迎来Agent元年 推理需求出现暴涨[3] - 大模型产业重心从训练转向推理成为行业共识[3] - 客户对大模型和Agent建设迸发强烈热情[3] 基础设施升级 - 公司不断升级云基础设施以支撑Agent规模化落地和企业全球化发展[4] - 深入参与开源贡献 向DeepSeek、vLLM、SGLang等社区提交多项优化技术[4] - 自研并开源FlexKV多级缓存技术 大幅降低KVCache占用 首字时延降低多达70%[4] 算力平台 - 依托异构计算平台整合多种芯片资源 提供高性价比AI算力[5] - 平台已全面适配主流国产芯片[5] - 通过软硬件协同全栈优化整合不同类型芯片[6] Agent解决方案 - 推出Agent Runtime解决方案 集成执行引擎、云沙箱等五大能力[6] - 云沙箱基于自研技术 启动时间只需100毫秒 支持数十万实例并发[6] - 开发专家服务智能体Cloud Mate 由多个子Agent构成[6] 应用成效 - Cloud Mate实现风险SQL拦截率95%[7] - 排障时间从30小时缩短至最快3分钟[7] - 改变云管理方式 可视化治理架构并前置拦截风险[6]