Workflow
Token
icon
搜索文档
聚焦AI技术与应用共振,这场论坛发布十大展望
国际金融报· 2025-07-29 11:18
行业技术发展趋势 - AI 2.0时代数据处理范式从"电能—算力—简单任务"转变为"电能—算力—Token—复杂任务" [1] - 基础设施评价标准从每焦耳或每瓦特计算次数转变为单位功耗下支撑的Token数 [1] - 不同智能等级对Token/J要求差异达2-3个数量级 需软硬件协同优化 [2] - 基础模型上下文窗口扩大且推理能力增强 推动AI Agent发展 [3] - 任务处理复杂度每七个月翻一倍 形成"智能体的摩尔定律" [3] 多模态与模型演进 - 全球数据转化为Token训练大模型 支持多模态应用输出 [1] - 图像视频生成模型取得重大进展 例如谷歌Veo 3模型可生成真实视频并自动添加音效对白 [2] - 未来12-24个月200万Token上下文窗口将成为顶级AI模型标配 [4] - 通用视频模型有望在12-24个月内出现 [4] 基础设施与芯片发展 - 算力多元调度能力可服务全国多地算力消耗方 [2] - 将打造新一代云端终端设备 适配各类端侧芯片 [2] - AI芯片领域将有更多国产GPU开启批量交付 [4] 应用落地与商业化 - AI Agent形态将从工具辅助走向任务承接 首批真正意义上的AI员工将进入企业 [4] - AI BPO模式在12-24个月内实现商业化突破 从交付工具转向交付结果 [4] - 按结果付费模式将在金融客服营销电商等标准化行业快速扩张 [4] - 通过异构云赋能千行百业 推动新终端普及 [2] 投资布局与产业生态 - 投资机构累计投资100余个AI项目 覆盖AI产业全链条 [3] - 联动产业链上下游伙伴共同打造设备与服务生态 [2]
Token推动计算Compute需求:非线形增长
华泰证券· 2025-07-17 18:46
报告行业投资评级 - 科技行业评级为增持(维持),计算机行业评级为增持(维持) [6] 报告的核心观点 - 未来算力需求中存在Token调用量随推理扩展倍数增长、算力需求随Token增长倍数增长两个倍数关系,共同决定推理端未来算力需求广阔,目前市场存在较大预期差,长期看好算力需求持续快速增长 [89][90] 根据相关目录分别进行总结 New Scaling:不止于预训练,三条Scaling推动算力需求增长 - 市场认为预训练Scaling law可能见顶,但考虑后训练Scaling和推理Scaling,AI对算力需求仍有大量空间 [10] 从三条Scaling law的差异看为什么算力需求将继续增长 - 预训练和后训练Scaling属训练阶段,推理Scaling属推理阶段 [11] - 预训练Scaling性能和数据、参数量相关,后训练Scaling利用微调等技术提高模型能力和领域特异性,推理Scaling性能与推理时间相关 [13] 推理Scaling的必要性和算力消耗量化 - 推理Scaling能大幅提高模型回答困难问题能力,是通往Agentic AI的重要路径 [15] - 预训练受训练数据约束,推理Scaling能提高模型性能,特别是困难问题方面 [15] - 推理模型的Token消耗可能是传统模型的10倍左右 [18] Grok系列模型的发展对应了三条Scaling曲线 - Grok系列模型发展历程对应三条Scaling曲线,Grok 3对应预训练阶段的Scaling law,Grok 4对应后训练与推理过程的Scaling law [19] - Grok 4在HLE测评集上的突破证明了推理Scaling的有效性 [22] 从Deep Research看Agentic对Token量的影响 - Deep Research是“Agentic化”的AI Search,以其为研究Agentic AI的抓手,分析Token量变化并拓展到广泛Agentic AI场景进行量化 [28] - Agentic AI与狭义AI Agent存在差异,前者涉及多流程多工具调用,任务更复杂 [32] Deep Research是研究Agentic AI的重要抓手之一 - AI Search成为Token消耗的重要组成,Google Token量增长可能源于搜索业务 [34] - Deep Research产品是AI Search的Agent路径拓展,被多家厂商竞相推出 [37] Deep Research的Token多在哪?基于底层系统设计视角的分析 - 以Anthropic的Deep Research系统设计为例,其将任务分配给多个Agent,带来成倍Token消耗 [41] - 搜索过程是迭代式的,Token量进一步增加 [44] 从Search到Research,量化Agentic的Token影响 - Anthropic Deep Research的Token消耗达到聊天的15倍 [46] - Google/OpenAI Deep Research的Token消耗量可能接近聊天的50倍 [50] - Agent使用和多工具调用能进一步提升Grok 4在HLE测试中的结果 [55] Deep Research在Agentic AI中并不复杂,真实Token量会更高 - Deep Research任务相对简单,普遍的Agentic AI会有更高Token消耗量,未来Token量增长可能是指数增长 [57][58] Token量的增长会带来算力需求的非线性增长 - 算力需求增长远高于Token量的增长,Token量增长10倍,所需算力量可能增长百倍 [60] 延迟和吞吐量是推理过程中两个重要指标 - 延迟和吞吐量是推理过程的关键指标,相互关联,分别决定用户使用体验和厂商总任务处理量 [61] 为什么延迟和吞吐量互相制约?中间变量——批处理 - 为提升吞吐量需进行批处理,延迟随批量大小线性增长,吞吐量随批量增长先增后缓,两者相互制约 [68] 模型厂商的帕累托最优需要追求“量价”的平衡 - 模型/AI应用厂商需追求用户使用量与AI服务质量之间的平衡,实现收益最大化 [74] 增加硬件是实现模型最优收益边界前移的重要方式 - 增加硬件可减少模型服务延迟,实现模型最优收益边界前移,算力需求增长与Token增长呈倍数关系 [81][82] 总结:两个倍数关系决定未来推理算力需求空间广阔 - 未来算力需求中Token调用量随推理扩展倍数增长,算力需求随Token增长倍数增长,决定推理端未来算力需求广阔 [89] 产业链相关公司 - 海外算力链涉及PCB、铜互联、光模块光器件光芯片相关公司,国内算力链涉及中芯国际、寒武纪等公司 [92]