消费级AI应用市场格局 - OpenAI的ChatGPT周活跃用户突破8亿，API每分钟处理约600亿个Token，消耗量是谷歌Gemini的两倍以上 [1][1] - ChatGPT每月生成超过420万亿个推理Token，而谷歌Gemini App月活用户4.5亿，仅产出约190万亿个Token，体量不足ChatGPT一半 [2] - 谷歌Gemini App的日请求量环比增长50%，但增长速度仍不及ChatGPT的Token消耗增速 [2] 企业级AI市场竞争态势 - Anthropic公司在企业级市场已获得相当于OpenAI两倍的收入份额，其年化收入运行率在2025年8月突破50亿美元，目标在2025年底达到90亿美元，2026年底达到200亿美元 [2] - Anthropic的企业客户超过30万家，年付费超过十万美元的客户数量在一年内增长近七倍 [2] - 在企业级推理Token领域，Anthropic已建立起相当可观的领先优势 [3] 谷歌的AI业务现状 - 谷歌所有服务每月处理1.3万亿个Token，其中搜索用户贡献了约900万亿个Token，搜索用户数量已接近25亿 [1][3] - 谷歌的Token总量领先，但主要依赖传统搜索业务，在原生消费级AI应用细分赛道上落后于OpenAI [1] - 公司面临被OpenAI在消费级市场和Anthropic在企业级市场双向挤压的竞争格局 [3]

AI投资与商业化趋势 - AI领域投资重点转向B端项目，核心考量商业化闭环和变现能力[1] - Token调用量成为衡量AI公司实际采用规模与增长潜力的核心标尺，如同互联网时代的用户数[1] - 大模型调用场景发生显著变化，从离线的打标和娱乐性场景，转向在线任务大幅上升，互联网公司和消费电子企业的大部分交互已开始由大模型取代[1] Token消耗规模与增长 - 中国日均Token消耗量从2024年初的1000亿增长至2025年6月底的突破30万亿，一年半时间增长超过300倍[2][4] - 2025年上半年中国企业级大模型日均调用量较2024下半年大增363%，已超过10万亿Tokens[4] - 大模型企业级市场呈爆发式增长，调用量最大的公司是互联网和消费电子企业，其次制造业、传统企业、政府部门和金融机构的调用量也有增长[4] 大模型市场竞争格局 - 中国大模型市场前三名份额合计超40%，其中阿里通义占比17.7%，字节豆包占比14.1%，DeepSeek占比10.3%[4] - 企业正从追求单一最强模型，转向为特定业务场景寻求最优解，对不同模态、尺寸和落地场景匹配的需求将爆发[4] - 模型供给呈现丰俭由人态势，快速匹配多元化市场需求[5] 行业应用与AI Agent发展 - 中国AI应用以生产力工具为主导，垂类行业的B端需求强劲，AI+工业的政策空间和应用空间较大[5] - 企业基于业务需要和成本考量，更倾向选择适配自身需求的底层大模型，而非一味追求大尺寸和强性能[6] - AI Agent被视为有望替代原有SaaS系统的技术，企业正加大布局，中基宁波集团计划在内部搭建100个有效智能体[5][6][7] 企业选型考量与模型趋势 - 企业在模型侧的选择主要考量五个方面：稳定性、效率、成本、服务响应和易用性[6] - 模型小型化成为未来几年的关键趋势，务实和好用成为B端企业调用大模型的基本原则[6] - 对于需要快速识别的场景使用小模型以降低Token消耗成本，对于深度推理则使用满血版模型[6] SaaS行业变革与商业模式 - SaaS行业长期面临用户付费意愿低、企业盈利难的问题，AI浪潮下有望改善边际，通过帮客户创造新价值来分得更多利润[7] - 钉钉颠覆SaaS商业模式，推行按结果付费，发布十余款AI产品，强调商业结果可交付[9] - AI应用的竞争最终将回到行业认知、模型工程能力以及实际应用效果，用户只会为效果买单[11] 技术演进与未来挑战 - AI技术从单一的大语言模型向多模态演进，从Copilot切换到Agent，从纯软件端向软硬件一体摸索[1] - AI Agent在稳定性方面有严格要求，不同企业对智能体的算力部署方式会提出严格要求，能力还需不断迭代[6][10] - 垂类行业应用中，知识库和数据库的沉淀积累将成为AI Agent企业的护城河，从数据到语料的处理是主要挑战，50%至70%的客户指导时间用于处理此关系[8][12]

阿里云AI战略核心观点 - 大模型是下一代操作系统 将取代传统OS成为连接用户 软件与AI计算资源的中间层 [1] - 通义千问坚定走开放路线 致力于成为AI时代的Android 与全球开发者共建AI应用生态 [1] - 开源模型能渗透的场景和创造的价值远超闭源模型 通义千问开源模型全球下载量超6亿次 衍生超17万个模型 [1] AI发展趋势与阶段 - AI发展将经历三阶段：智能涌现（学习人） 自主行动（辅助人） 自我迭代（超越人） [6][7][8] - 当前处于自主行动阶段 AI具备使用工具能力 可连接数字化工具完成真实世界任务 [6][7] - 未来AI需连接物理世界全量原始数据并实现自主学习 才能实现自我迭代升级 [8][10] 超级AI云战略布局 - 阿里云全力打造AI超级计算机 提供从自研芯片 网络 存储到模型平台的全栈AI服务 [2][19] - 推进三年3800亿元AI基础设施建设计划 2032年全球数据中心能耗规模将达2022年的10倍 [2][20] - 全球AI行业投资总额超4000亿美元 未来5年累计投入将超4万亿美元 [3] 模型生态与开发者支持 - 通义千问开源300多款模型 覆盖全模态全尺寸 提供一站式模型服务平台百炼和Agent运行环境 [19] - 通过开源将开发者规模从数千万扩展至数亿 让任何人用自然语言创造满足自身需求的Agent [1][14] - 模型部署方式将多样化 运行在所有计算设备中并具备可持久记忆和端云联动能力 [14] 未来应用场景与影响 - AI将重构基础设施 软件和应用体系 成为真实世界核心驱动力 [23] - 未来每个人将拥有数十甚至上百个Agent 24小时不间断工作协同 [16][22] - AI将指数级放大人类智力杠杆 使10小时产出实现十倍百倍提升 [22]

文章核心观点 - 人工智能基础设施效能评价核心指标正从"每焦耳能量支持的计算次数（TOPS/J）"转变为"每焦耳能量处理的有效Token数量（Tokens/J）"[3] - Token已成为大模型时代最核心的生产要素之一 是AI模型输入输出的基础单元[3][5] - 软硬件协同优化是提升单位能耗下Token效率的关键路径 需从芯片设计、互联技术到集群架构全面优化[3][9][11] AI基础设施效能评价体系变革 - AI 1.0时代芯片评价标准为每焦耳TOPS AI 2.0时代转变为每焦耳Tokens/J[6] - 不同智能等级对Tokens/J能效需求差异显著：Level 2差1-2个数量级 Level 3差2-3个数量级[7] - 高质量Tokens/J需持续演进 从简单对话到AI for Science需确保大模型推理性能不受影响[7] 神经网络优化技术路径 - 通过稀疏化优化矩阵运算：零元数量可从50%增加到75% 稀疏模式从非结构化发展到结构化稀疏[9] - 量化技术从32比特浮点发展到FP8、FP4 国产芯片正逐步支持更高效数据表示[10] - 神经网络可学习特性支持算法与硬件协同优化 在保证精度前提下减少计算开销[9] 算力系统架构演进 - 算力集群构建需经历晶圆级集成、芯片互联、服务器互联、集群整合的逐级集成过程[11] - 系统优化分三个层级：小盒子（计算优化）、中盒子（芯片间协同）、大盒子（万卡级资源调度）[12] - 万卡至十万卡规模需解决系统稳定性、容错管理和任务正确性等关键问题[12] 端侧与云侧能效挑战 - 端侧应用需求与现实能力存在10倍差距 需实现20 Tokens/J能效和100-200 Tokens/s推理速度[12][15] - 云侧正从能效角度推进优化 提升每节点Tokens/J实现可持续计算[12] - 2025 WAIC已展示峰值200 Tokens/s的端侧方案[12] 智能体演进带来的系统挑战 - 从单模型到多智能体协作时 GPU利用率降低、动态性增强、开销增大[14] - 多智能体面临并行性、上下文处理、工具复杂度等挑战 需系统级工具支持[14] - 具身智能推动研究重心从云侧芯片向端侧推理演进 是智能系统迈向物理世界的关键[15] 产业生态建设 - 需优化多元异构生态 从基础设施层、模型层到应用层做联合优化[13] - 算力集群已覆盖北京、上海等多省市 服务主要算力消耗方[14] - 正积极适配各类端侧芯片 服务联想等合作伙伴 推动AI云能力赋能千行百业[15]

算力定义与核心属性 - 算力即计算能力，是集信息计算力、网络运载力、数据存储力于一体的新型生产力，主要通过算力基础设施向社会提供服务 [4] - 算力是对数据的处理能力，支撑智能音箱响应指令、电子支付实时清算、在线购物个性化推荐、电影特效处理等日常生活应用 [4] - 在数字经济时代，算力如同水、电、燃气等公共基础资源，已走进千家万户、服务千行百业 [4] 算力分类与发展特征 - 算力根据使用设备和提供强度不同分为三类：基础算力（用于办公、上网、看视频等基础通用计算）、智能算力（用于复杂数据分析和人工智能任务）、超算算力（用于科学研究和工程计算）[5][6][7] - 近年来中国算力总规模年增速达到30%左右，智能算力需求呈现迅猛增长态势 [7] - 当前算力发展呈现"智算主导、多元协调发展"的特征 [7] 算力规模与衡量指标 - 算力衡量专业指标为FLOPS（每秒浮点运算次数），单位包括MFLOPS（百万次）、GFLOPS（十亿次）、TFLOPS（万亿次）、PFLOPS（千万亿次）、EFLOPS（百亿亿次）[9] - 截至2025年6月底，中国智能算力规模达788 EFLOPS，占全球总规模的32%，稳居全球第二 [10] 人工智能相关术语与市场动态 - Token是处理文本的最小数据单元，在语言类模型中用于将长文本分解为以Token为单位的数据结构进行计算 [11] - 中国日均Token消耗量从2024年初的1000亿增长至2025年6月底的30万亿，一年半时间增长300多倍，反映人工智能应用规模快速增长 [11] - 边缘计算是指数据收集分析发生在靠近数据生成的本地设备和网络中，而非集中化云端，适用于智能工厂等需要毫秒级响应的实时处理场景 [11]

算力定义与分类 - 算力即计算能力 是集信息计算力 网络运载力 数据存储力于一体的新型生产力 主要通过算力基础设施向社会提供服务 [3] - 算力分为三类：基础算力用于基础通用计算 智能算力用于复杂数据分析和人工智能任务 超算算力用于科学研究和工程计算 [3][4][5] - 算力总规模年增速达30% 智能算力需求迅猛增长 呈现"智算主导 多元协调发展"特征 [5] 算力规模与衡量标准 - 中国智能算力规模达788EFLOPS（百亿亿次/秒） 占全球总规模的32% 稳居全球第二 [7] - 衡量指标FLOPS包含多个层级：MFLOPS（百万次） GFLOPS（十亿次） TFLOPS（万亿次） PFLOPS（千万亿次） EFLOPS（百亿亿次） [7] - 超级计算机"前沿"峰值性能突破1EFLOPS 相当于80亿人持续按键近40年的运算量 [7] 人工智能相关术语 - Token是处理文本的最小数据单元 在语言模型中用于文本分词和模型计算 [7] - 中国日均Token消耗量从2024年初1000亿增长至2025年6月底30万亿 一年半增长300多倍 反映人工智能应用规模快速扩张 [8] - 边缘计算指在数据生成的本地设备进行处理 而非传输至云端 适用于需要毫秒级响应的实时场景（如智能工厂） [9]

中文数据在AI模型训练中的重要性 - 中文数据在国内大模型训练中占比超过60%，部分模型达到80% [1] - 中文高质量数据开发和供给能力持续增强，推动人工智能模型性能快速提升 [1] AI应用规模增长数据 - 2024年初日均Token消耗量为1000亿，2024年6月底突破30万亿 [1] - 一年半时间内Token消耗量增长300多倍，反映人工智能应用规模快速增长 [1]

行业技术发展趋势 - AI 2.0时代数据处理范式从"电能—算力—简单任务"转变为"电能—算力—Token—复杂任务" [1] - 基础设施评价标准从每焦耳或每瓦特计算次数转变为单位功耗下支撑的Token数 [1] - 不同智能等级对Token/J要求差异达2-3个数量级 需软硬件协同优化 [2] - 基础模型上下文窗口扩大且推理能力增强 推动AI Agent发展 [3] - 任务处理复杂度每七个月翻一倍 形成"智能体的摩尔定律" [3] 多模态与模型演进 - 全球数据转化为Token训练大模型 支持多模态应用输出 [1] - 图像视频生成模型取得重大进展 例如谷歌Veo 3模型可生成真实视频并自动添加音效对白 [2] - 未来12-24个月200万Token上下文窗口将成为顶级AI模型标配 [4] - 通用视频模型有望在12-24个月内出现 [4] 基础设施与芯片发展 - 算力多元调度能力可服务全国多地算力消耗方 [2] - 将打造新一代云端终端设备 适配各类端侧芯片 [2] - AI芯片领域将有更多国产GPU开启批量交付 [4] 应用落地与商业化 - AI Agent形态将从工具辅助走向任务承接 首批真正意义上的AI员工将进入企业 [4] - AI BPO模式在12-24个月内实现商业化突破 从交付工具转向交付结果 [4] - 按结果付费模式将在金融客服营销电商等标准化行业快速扩张 [4] - 通过异构云赋能千行百业 推动新终端普及 [2] 投资布局与产业生态 - 投资机构累计投资100余个AI项目 覆盖AI产业全链条 [3] - 联动产业链上下游伙伴共同打造设备与服务生态 [2]

报告行业投资评级 - 科技行业评级为增持（维持），计算机行业评级为增持（维持） [6] 报告的核心观点 - 未来算力需求中存在Token调用量随推理扩展倍数增长、算力需求随Token增长倍数增长两个倍数关系，共同决定推理端未来算力需求广阔，目前市场存在较大预期差，长期看好算力需求持续快速增长 [89][90] 根据相关目录分别进行总结 New Scaling：不止于预训练，三条Scaling推动算力需求增长 - 市场认为预训练Scaling law可能见顶，但考虑后训练Scaling和推理Scaling，AI对算力需求仍有大量空间 [10] 从三条Scaling law的差异看为什么算力需求将继续增长 - 预训练和后训练Scaling属训练阶段，推理Scaling属推理阶段 [11] - 预训练Scaling性能和数据、参数量相关，后训练Scaling利用微调等技术提高模型能力和领域特异性，推理Scaling性能与推理时间相关 [13] 推理Scaling的必要性和算力消耗量化 - 推理Scaling能大幅提高模型回答困难问题能力，是通往Agentic AI的重要路径 [15] - 预训练受训练数据约束，推理Scaling能提高模型性能，特别是困难问题方面 [15] - 推理模型的Token消耗可能是传统模型的10倍左右 [18] Grok系列模型的发展对应了三条Scaling曲线 - Grok系列模型发展历程对应三条Scaling曲线，Grok 3对应预训练阶段的Scaling law，Grok 4对应后训练与推理过程的Scaling law [19] - Grok 4在HLE测评集上的突破证明了推理Scaling的有效性 [22] 从Deep Research看Agentic对Token量的影响 - Deep Research是“Agentic化”的AI Search，以其为研究Agentic AI的抓手，分析Token量变化并拓展到广泛Agentic AI场景进行量化 [28] - Agentic AI与狭义AI Agent存在差异，前者涉及多流程多工具调用，任务更复杂 [32] Deep Research是研究Agentic AI的重要抓手之一 - AI Search成为Token消耗的重要组成，Google Token量增长可能源于搜索业务 [34] - Deep Research产品是AI Search的Agent路径拓展，被多家厂商竞相推出 [37] Deep Research的Token多在哪？基于底层系统设计视角的分析 - 以Anthropic的Deep Research系统设计为例，其将任务分配给多个Agent，带来成倍Token消耗 [41] - 搜索过程是迭代式的，Token量进一步增加 [44] 从Search到Research，量化Agentic的Token影响 - Anthropic Deep Research的Token消耗达到聊天的15倍 [46] - Google/OpenAI Deep Research的Token消耗量可能接近聊天的50倍 [50] - Agent使用和多工具调用能进一步提升Grok 4在HLE测试中的结果 [55] Deep Research在Agentic AI中并不复杂，真实Token量会更高 - Deep Research任务相对简单，普遍的Agentic AI会有更高Token消耗量，未来Token量增长可能是指数增长 [57][58] Token量的增长会带来算力需求的非线性增长 - 算力需求增长远高于Token量的增长，Token量增长10倍，所需算力量可能增长百倍 [60] 延迟和吞吐量是推理过程中两个重要指标 - 延迟和吞吐量是推理过程的关键指标，相互关联，分别决定用户使用体验和厂商总任务处理量 [61] 为什么延迟和吞吐量互相制约？中间变量——批处理 - 为提升吞吐量需进行批处理，延迟随批量大小线性增长，吞吐量随批量增长先增后缓，两者相互制约 [68] 模型厂商的帕累托最优需要追求“量价”的平衡 - 模型/AI应用厂商需追求用户使用量与AI服务质量之间的平衡，实现收益最大化 [74] 增加硬件是实现模型最优收益边界前移的重要方式 - 增加硬件可减少模型服务延迟，实现模型最优收益边界前移，算力需求增长与Token增长呈倍数关系 [81][82] 总结：两个倍数关系决定未来推理算力需求空间广阔 - 未来算力需求中Token调用量随推理扩展倍数增长，算力需求随Token增长倍数增长，决定推理端未来算力需求广阔 [89] 产业链相关公司 - 海外算力链涉及PCB、铜互联、光模块光器件光芯片相关公司，国内算力链涉及中芯国际、寒武纪等公司 [92]