AI推理

搜索文档
算力需求重心从训练转向推理 全球AI基础设施建设全面加速
中国证券报· 2025-09-16 06:20
甲骨文业绩与算力需求转变 - 甲骨文单日股价大涨40% 主要受云基础设施业务剩余履约义务同比增长359%至4550亿美元推动 其中近60%来自与OpenAI签署的5年3000亿美元推理算力订单[1] - 公司预计2026财年云基础设施收入同比增长77%至180亿美元 并给出未来四年增长指引:320亿/730亿/1140亿/1440亿美元[2] - 算力需求结构从训练为主转向推理为主 甲骨文CEO表示AI推理市场规模将远超训练市场 推理算力正被耗尽[1] AI推理商业化与行业应用 - 中国信通院指出算力结构正从70%用于训练转向70%用于分布式推理 大模型推理应用成为智能化转型核心引擎[2] - IDC认为2025年AI算力将进入"训推拐点" 商业模式从技术竞赛转向价值共享与产业落地[3] - 国家数据局披露中国日均Token消耗量突破30万亿 一年半增长300多倍 沙利文报告显示中国企业级大模型日均Token消耗量达10.2万亿 较2024年底暴涨363%[3] 云厂商AI基础设施投入 - 阿里云季度收入同比增长26%至333.98亿元 AI相关收入连续八季度实现三位数增长[4] - 中国AI云市场2025年上半年规模达223亿元 预计全年增长148% 2030年将达1930亿元[5] - BAT第二季度资本开支合计615.83亿元 同比上涨168% 阿里云宣布三年投入3800亿元用于云和AI基础设施 季度资本开支达386亿元创历史新高[6] 全球AI基础设施竞争格局 - 摩根士丹利上调2025年全球11大云厂商资本支出预期至4450亿美元 年增56% 2026年预计达5180亿美元[6] - 阿里云今年新增8个全球数据中心 覆盖中国/泰国/韩国/马来西亚/阿联酋/墨西哥[6] - 万卡级算力集群成为行业标配 但中国面临算力芯片生态碎片化挑战 有数十款芯片对应不同开发框架[7] 技术瓶颈与产业协同 - 大规模算力集群需解决互联效率损失问题 以提升整体计算效率[7] - 工信部强调要加快突破GPU芯片等关键技术 扩大基础共性技术供给 推进算力强基行动[7] - 产业各方需共同完善算力网络技术标准体系 聚焦智算卡间互联/机间互联/AI应用跨架构迁移等方向[8]
算力需求重心从训练转向推理全球AI基础设施建设全面加速
中国证券报· 2025-09-16 04:22
近日,老牌科技公司甲骨文(Oracle)以单日大涨40%的行情表现震撼全球资本市场。原因在于该公司 公布的2026财年第一财季(2025年6月1日-8月31日)业绩数据显示,公司云基础设施(OCI)业务中的 剩余履约义务(RPO)同比增长359%,达到4550亿美元,其中近60%来自与OpenAI签署的5年3000亿美 元推理算力订单。 国内头部云计算厂商业务负责人告诉中国证券报记者,虽然这笔规模庞大的订单从签署到真正交付仍存 在不确定性因素,但也向整个产业链传递了算力尤其是推理算力供不应求的明确信号,增强产业链坚定 向AI和云领域投入的信心。 ● 本报记者 杨洁 算力需求结构改变 根据甲骨文的判断,算力的需求结构已经从训练为主,向推理为主迁移。这也意味着AI已经从过去的 模型研发训练进入到大规模产业化应用的新阶段。 在AI应用牵引之下,AI Infra(AI Infrastructure,即AI基础设施)的确定性进一步增强。AI Infra是支撑 AI大模型从"概念"走向生产力的智能化底座。如今全球云厂商正全力抢占AI Infra这一战略制高点。 AI云是AI Infra的重要构成。市场调研机构Omdia发 ...
大洗牌!这三只ETF爆了
格隆汇· 2025-09-15 15:55
自ChatGPT横空出世三年以来,全球富豪榜的急速更迭,让我们可以无比坚定给出一个断论: "AI是一场财富大洗牌!" 2025年9月10日,云厂商甲骨文飙升近36%,一度将其创始人埃里森送上世界首富宝座。 2个月前,英伟达成为世界首家4万亿美元的公司,带动创始人黄仁勋身家,历史性反超股神巴菲特。 科创芯片ETF南方(588890)等相关ETF,作为AI芯片产业链的重要投资工具,也在此轮行情中获得市场关注。 看看最新的全球富豪榜前十,当中的7位富豪都是科技巨头,诞生于特斯拉、Meta、亚马逊、甲骨文、谷歌、微软。 1 甲骨文"海啸级订单"引爆 在甲骨文第一财季电话会议上,CEO Safra Catz开口的第一句话就是: "显然,我们有了一个惊人的开端。" 电话会议的次日(9月10日),甲骨文股价单日飙涨36%,创1992年以来最大单日涨幅,上演堪称互联网泡沫以来最疯狂一夜。 财报显示,受益于与Open AI、xAI、Meta、NVIDIA、AMD等AI重量级玩家签订的云合同,甲骨文"剩余履约义务"剩余履约义务(RPO)增长至4550亿美 元,同比暴增359%,并预计云业务营收在未来四年继续高速增长至320亿美元 ...
集邦咨询:AI推理需求导致Nearline HDD严重缺货 预计2026年QLC SSD出货有望趁势爆发
第一财经· 2025-09-15 13:54
(文章来源:第一财经) 根据TrendForce集邦咨询最新研究,AI创造的庞大数据量正冲击全球数据中心存储设施,传统作为海量 数据存储基石的Nearline HDD(近线硬盘)已出现供应短缺,促使高效能、高成本的SSD逐渐成为市场 焦点,特别是大容量的QLC SSD出货可能于2026年出现爆发性增长。 ...
研报 | AI推理需求导致Nearline HDD严重缺货,预计2026年QLC SSD出货有望趁势爆发
TrendForce集邦· 2025-09-15 13:46
Sept. 15, 2025 产业洞察 根据TrendForce集邦咨询最新研究,AI创造的庞大数据量正冲击全球数据中心存储设施,传统作为海 量数据存储基石的Nearline HDD(近线硬盘)已出现供应短缺,促使高效能、高成本的SSD逐渐成为 市场焦点,特别是大容量的QLC SSD出货可能于2026年出现爆发性增长。 在传统数据中心储存分层架构中,HDD凭借每单位储存容量(GB)的极低成本优势,稳居「冷数据 (Cold Data)」主流储存方案。冷数据包含备份档案、历史记录等不常被存取,但需要长期归档保存的 数据。随着Inference AI(AI推理)应用扩张,冷数据储存需求也急速攀升。 TrendForce集邦咨询指出,若CSP要导入QLC SSD于冷数据储存,需考量数据管理算法的修正、软件 堆栈的适配,以及对整体拥有成本(TCO)的精算,有必要坚守价格底线以达到成本平衡。对SSD供应 商而言,尽管这波转单需求是改善获利结构的绝佳机会,但因高容量产品的产能有限,供应商不会愿 意大幅降价。因此,预期买卖双方将有一场价格博弈,带动2025年第四季整体Enterprise SSD合约价 季增5-10%。 如果 ...
微软用「光」跑AI登上Nature,100倍能效颠覆GPU,华人首席研究员扛鼎
36氪· 2025-09-15 11:41
过去的几十年,各大公司都在芯片上暗暗较劲:芯片涨价、GPU短缺、AI算力焦虑... 就在大家盯着芯片迭代升级时,微软在悄悄做另一件事:用光重新定义计算。 他们花了四年,用手机摄像头、Micro LED和透镜,拼出了一台模拟光学计算机(AOC)。 如今,这个实验已经登上Nature,带来了一个足以颠覆GPU的未来想象。 光子登场:固定点搜索的秘密 几十年来,算力的故事几乎都写在硅片上:摩尔定律的加速、GPU的堆叠、能耗的焦虑。 可在英国剑桥,微软研究院的一支小团队走了一条完全不同的路——让光来算数。 他们拼出了一台模拟光学计算机(AOC),材料一点也不稀有:Micro LED、光学镜头、还有来自手机的摄像头传感器。 看上去更像是一台实验室「组装机」,却打开了算力的另一种可能。 英国剑桥Microsoft Research实验室模拟光学计算机的详细图像。它是使用市售部件制造的,例如micro-LED灯和智能手机摄像头的传感器 其实,光学计算的设想早在20世纪60年代就被提出过,只是在当时受限于工艺,一直停留在理论层面。 如今,微软团队把它真正做了出来。 AOC真正的秘密不在这些零件,在于它的运行方式——固定点搜索 ...
推理专用芯片RubinCPX重磅发布,产业链迎来新机遇
开源证券· 2025-09-12 17:12
报告行业投资评级 - 投资评级:看好(维持)[2] 报告核心观点 - 英伟达发布推理专用芯片Rubin CPX 该芯片专为大规模上下文AI模型设计 通过优化计算与内存配置实现较高成本效益 其架构变化为PCB 铜缆连接器和组装等产业链环节带来新机遇[5][6][7] 行业技术分析 - AI推理包含Prefill和Decode两个阶段 Prefill阶段强调算力需求高吞吐量处理 Decode阶段依赖内存带宽和高速互联方案[5] - Rubin CPX芯片设计侧重计算FLOPS而非内存带宽 提供20 PFLOPS的FP4密集计算能力 内存带宽为2TB/s 配备128GB GDDR7内存[5] - 与HBM相比 GDDR7内存使每GB成本降低超过50%[5] 产品架构与配置 - Rubin CPX推出使VR200服务器机架扩展为三种版本:VR200 NVL144(72个R200 GPU) VR200 NVL144 CPX(144个Rubin CPX GPU加72个R200 GPU) Vera Rubin CPX双机架(独立VR200 NVL144机架加VR CPX机架含144个Rubin CPX GPU)[6] - 新架构中每个computer tray配置不同 VR200 NVL144为4个R200 GPU VR200 NVL144 CPX为4个R200 GPU加8个Rubin CPX GPU VR CPX机架为8个Rubin CPX GPU[6] 产业链影响与投资建议 - 机柜内芯片互联和机柜外网络互联复杂性增加 推动PCB和铜缆连接器需求提升[6][7] - PCB环节受益标的包括沪电股份 胜宏科技 深南电路 生益电子 景旺电子 鹏鼎控股 广合科技 方正科技 世运电路 奥士康 生益科技等[7] - 铜缆连接器环节受益标的包括华丰科技 沃尔核材 鼎通科技等[7] - 组装环节受益标的包括工业富联等[7]
一文拆解英伟达Rubin CPX:首颗专用AI推理芯片到底强在哪?
Founder Park· 2025-09-12 13:07
产品发布与性能 - 英伟达发布新一代Rubin CPX GPU 专为海量上下文AI处理设计 支持百万级token推理 于2025年9月9日推出[5] - 单卡算力达30 PFLOPS(NVFP4精度) 配备128GB GDDR7显存 硬件编解码引擎使长序列注意力加速提升3倍 单卡可在1秒内完成百万token级推理[2][5] - 采用分工策略:Rubin CPX(GDDR)负责预填充(prefill)阶段 Rubin HBM GPU负责解码(decode)阶段 优化算力与内存带宽利用率[9][10][12] 架构创新与成本优势 - 核心创新为用GDDR7替代HBM 内存成本降低5倍/GB 同时省去NVLink接口 每GPU节省约8000美元[12] - 芯片成本仅为R200的1/4 但提供80%算力 整机TCO在预填充场景下从每小时0.6美元降至0.06美元 降幅达90%[12][13] - 通过专用芯片分工(prefill与decode分离)实现算力极致优化 后续可能推出解码专用芯片进一步降低成本[16] 系统性能与对比优势 - 搭载Rubin CPX的Vera Rubin机架处理大上下文窗口性能比GB300 NVL72高6.5倍 提供8EFLOPS(NVFP4精度)算力 100TB内存及1.7PB/s带宽[14][20] - 机柜集成144个Rubin CPX GPU、144个Rubin GPU及36个Vera CPU 采用Oberon方案 每个compute tray含8个CPX芯片及8个CX-9网卡[20] - 对比竞争对手:AMD MI300机架带宽20.5TB/s但需追赶到2027年 谷歌TPU缺预填充专用芯片 AWS Trainium受限于EFA网卡需外挂机架 其他厂商自研芯片需18个月流片[20] 产业链影响:PCB与光模块 - PCB需求新增:CPX芯片需专用PCB(预计HDI方案) Rubin模组与CPX间采用44层正交中板替代线缆 材料可能升级为M9+二代布+四代铜[24][27][28] - 英伟达单GPU PCB价值量从GB200的400美元提升至VR200的900美元 预计2025-2027年PCB总市场规模达131/289/707亿元人民币[29] - 光模块配置提升:每个compute tray配8个CX-9网卡(推测1.6T端口) Rubin NVL144光模块配比较GB300翻倍 因单die带宽提升至800G[30][32][37] - 2026年全球1.6T光模块需求上调至1500万只 2027年预计达4000-5000万只 推理步骤解耦推动单托盘GPU数量增加 进一步带动光模块需求[35][36][37] 电源与散热升级 - 整机功耗从180-200kW提升至350kW 推动供电架构向直流化/高压化演进:800V HVDC替代传统UPS 二次侧电源升级至800V-50V[39][40] - 液冷与电源需求增长 国内供应商如中恒电气(HVDC龙头)、科士达(北美代工)、盛弘股份(模块开发)等积极布局海外市场[41][42][43] 技术规格与路线图 - Rubin CPX采用N3P制程 单芯片功耗800W(带内存880W) 无NVLink 仅支持PCIe Gen6接口[12][17] - 对比路线图:Rubin CPX算力20PFLOPS(稠密) 内存带宽2TB/s 而R200带宽20.5TB/s Rubin Ultra内存带宽达53TB/s(2027年)[7][12][17]
推理算力需求爆发 七牛智能卡位AI Cloud或迎量价双增
智通财经· 2025-09-12 12:56
AI推理市场前景 - AI推理市场被认定为万亿美元级别的机会 推理算力将被用于所有场景[1] - 推理需求是模型产品化服务化后的持续调用 每天每秒在千万级用户或系统中被触发[1] - 推理算力需求远超训练 需要在生产环境中降低端到端延迟并提高吞吐率[2] 甲骨文公司动态 - 甲骨文创始人Larry Ellison因AI推理市场预判和剩余履约义务飙升至4550亿美元登顶全球首富[1] - 剩余履约义务(RPO)达到4550亿美元 反映公司未来收入承诺规模[1] 七牛智能AI业务表现 - AI相关收入达1.84亿元 占总收入比重22.2%[1] - AI用户数量从8月初的1万人快速增长至15000人[1] - 可调用大模型数量超过50个 涵盖LLM推理模型 工具调用 AI编程等功能[1] 企业级数据资产重要性 - 高质量可连通的企业数据是推理时代的关键资源[2] - 垂直行业级的海量结构化数据资产对推理模型产生有用答案至关重要[2] 七牛智能竞争优势 - 拥有14年音视频云服务积累 包括低延迟高吞吐的全球实时节点和海量存储能力[2] - 通过向量化和Private LLM接入技术安全暴露私有音视频异构数据[2] - 在推理算力价值链中占据上游数据提供与中游算力基础设施双重位置[2]
推理算力需求爆发 七牛智能(02567)卡位AI Cloud或迎量价双增
智通财经网· 2025-09-12 12:54
AI推理市场前景 - AI推理市场被认定为万亿美元级别的巨大机会 远超训练市场的规模[1] - 推理需求具有常态化、大量化特点 每天每秒在千万级用户和自动化系统中被持续调用 推动AI云服务持续增长[1] - 企业级和垂直行业级的海量结构化数据资产成为进入推理时代的关键资源[2] 七牛智能AI业务表现 - AI相关收入达1.84亿元人民币 占总收入比例22.2%[2] - AI用户数量从8月初的1万人快速增长至1.5万人[2] - 可调用大模型数量超过50个 涵盖LLM推理模型、工具调用、AI编程和Claude CodeAI接口支持等功能[2] 推理服务技术要求 - 需要持续降低端到端延迟并提高吞吐率以快速响应用户请求[2] - 必须满足高QPS(每秒请求数)和TPM吞吐率的严苛要求[2] - 推理算力需求远超训练阶段[2] 七牛智能竞争优势 - 拥有14年音视频云服务技术积累 包括低延迟高吞吐的全球实时节点和海量存储能力[3] - 通过向量化和Private LLM接入技术 安全地将私有音视频异构数据向推理模型暴露[3] - 在推理算力价值链中同时占据上游数据提供和中游算力基础设施的双重位置[3]