Workflow
Token推动计算Compute需求:非线形增长
华泰证券·2025-07-17 18:46

报告行业投资评级 - 科技行业评级为增持(维持),计算机行业评级为增持(维持) [6] 报告的核心观点 - 未来算力需求中存在Token调用量随推理扩展倍数增长、算力需求随Token增长倍数增长两个倍数关系,共同决定推理端未来算力需求广阔,目前市场存在较大预期差,长期看好算力需求持续快速增长 [89][90] 根据相关目录分别进行总结 New Scaling:不止于预训练,三条Scaling推动算力需求增长 - 市场认为预训练Scaling law可能见顶,但考虑后训练Scaling和推理Scaling,AI对算力需求仍有大量空间 [10] 从三条Scaling law的差异看为什么算力需求将继续增长 - 预训练和后训练Scaling属训练阶段,推理Scaling属推理阶段 [11] - 预训练Scaling性能和数据、参数量相关,后训练Scaling利用微调等技术提高模型能力和领域特异性,推理Scaling性能与推理时间相关 [13] 推理Scaling的必要性和算力消耗量化 - 推理Scaling能大幅提高模型回答困难问题能力,是通往Agentic AI的重要路径 [15] - 预训练受训练数据约束,推理Scaling能提高模型性能,特别是困难问题方面 [15] - 推理模型的Token消耗可能是传统模型的10倍左右 [18] Grok系列模型的发展对应了三条Scaling曲线 - Grok系列模型发展历程对应三条Scaling曲线,Grok 3对应预训练阶段的Scaling law,Grok 4对应后训练与推理过程的Scaling law [19] - Grok 4在HLE测评集上的突破证明了推理Scaling的有效性 [22] 从Deep Research看Agentic对Token量的影响 - Deep Research是“Agentic化”的AI Search,以其为研究Agentic AI的抓手,分析Token量变化并拓展到广泛Agentic AI场景进行量化 [28] - Agentic AI与狭义AI Agent存在差异,前者涉及多流程多工具调用,任务更复杂 [32] Deep Research是研究Agentic AI的重要抓手之一 - AI Search成为Token消耗的重要组成,Google Token量增长可能源于搜索业务 [34] - Deep Research产品是AI Search的Agent路径拓展,被多家厂商竞相推出 [37] Deep Research的Token多在哪?基于底层系统设计视角的分析 - 以Anthropic的Deep Research系统设计为例,其将任务分配给多个Agent,带来成倍Token消耗 [41] - 搜索过程是迭代式的,Token量进一步增加 [44] 从Search到Research,量化Agentic的Token影响 - Anthropic Deep Research的Token消耗达到聊天的15倍 [46] - Google/OpenAI Deep Research的Token消耗量可能接近聊天的50倍 [50] - Agent使用和多工具调用能进一步提升Grok 4在HLE测试中的结果 [55] Deep Research在Agentic AI中并不复杂,真实Token量会更高 - Deep Research任务相对简单,普遍的Agentic AI会有更高Token消耗量,未来Token量增长可能是指数增长 [57][58] Token量的增长会带来算力需求的非线性增长 - 算力需求增长远高于Token量的增长,Token量增长10倍,所需算力量可能增长百倍 [60] 延迟和吞吐量是推理过程中两个重要指标 - 延迟和吞吐量是推理过程的关键指标,相互关联,分别决定用户使用体验和厂商总任务处理量 [61] 为什么延迟和吞吐量互相制约?中间变量——批处理 - 为提升吞吐量需进行批处理,延迟随批量大小线性增长,吞吐量随批量增长先增后缓,两者相互制约 [68] 模型厂商的帕累托最优需要追求“量价”的平衡 - 模型/AI应用厂商需追求用户使用量与AI服务质量之间的平衡,实现收益最大化 [74] 增加硬件是实现模型最优收益边界前移的重要方式 - 增加硬件可减少模型服务延迟,实现模型最优收益边界前移,算力需求增长与Token增长呈倍数关系 [81][82] 总结:两个倍数关系决定未来推理算力需求空间广阔 - 未来算力需求中Token调用量随推理扩展倍数增长,算力需求随Token增长倍数增长,决定推理端未来算力需求广阔 [89] 产业链相关公司 - 海外算力链涉及PCB、铜互联、光模块光器件光芯片相关公司,国内算力链涉及中芯国际、寒武纪等公司 [92]