Workflow
大模型规模定律
icon
搜索文档
中国大模型训练如何突破算力瓶颈
经济观察报· 2026-10-29 16:06
文章核心观点 - 中国大模型过去三年进步迅速但始终未能真正站上全球前沿,中美最佳模型性能差距已由2023年5月的三成以上缩小至2026年3月的约2.7%,但差距始终无法反超的根本原因在于训练算力 [2][3] - 提效存在天花板,中国团队的效率创新美国实验室很快就能吸收,再叠加十倍算力差距随即重新拉开,效率提升不会减少算力需求反而会扩大需求,即杰文斯悖论 [3] - 只要训练算力的差距依然存在,中国大模型就难以跳出追近再被拉开的循环 [4] - 训练市场呈现一家主导少数追赶的格局,真正的追赶者都是整套体系,训练侧竞争不奖励单项冠军,只奖励能把几万张卡变成一张卡并让极度厌恶风险的客户放心使用的厂商 [21][22] - 中国训练算力五项要素中四项有短板,短期靠系统工程和模型提效,中期靠产能爬坡和首批大规模验证,长期靠核心设备与人才 [24][35] 中美大模型能力差距现状 - Epoch AI能力指数显示自2023年以来每一个处于前沿的模型均出自美国,中国模型平均落后约7个月,最短4个月最长14个月 [2] - 斯坦福大学《2026年AI指数报告》显示中美最佳模型性能差距已由2023年5月的三成以上缩小至2026年3月的约2.7% [2] - DeepSeek-R1在2025年初一度追平美国最强模型但很快又被拉开距离 [2] 训练算力差距的具体数据 - DeepSeek-R1训练计算量约为4×10^24次浮点运算,Qwen3-Max约为1.5×10^25次,同期美国GPT-5约为6.6×10^25次,Grok 4约为5×10^26次,高出一个数量级 [3] - DeepSeek-V3仅用2048张H800完成预训练,依靠混合专家架构和8位精度训练将正式训练算力成本压缩至约560万美元(不含前期研发与试验),同期Meta训练Llama 3.1 405B动用约1.6万张H100 [3] 规模定律与训练算力需求 - 规模定律是实践中反复观察到的经验规律,模型预测误差随参数量数据量和计算量增加按幂律稳定下降,投资回报可以预期,科技巨头才敢于押注千亿美元 [6] - 业界经验公式为C≈6×N×D,C为总计算量N为参数量D为训练所用Token数,系数6源于每处理一个Token每个参数在前向计算中需做2次浮点运算反向传播中需做约4次 [6] - Llama 3.1 405B为4050亿参数约15.6万亿Token,计算量约为3.8×10^25次,若用一张H100按峰值持续计算需要约1200年 [6] - GPT-3(2020年)约为3×10^23次,GPT-4(2023年)约为2×10^25次,GPT-4.5(2025年)约为4×10^26次,2026年9月发布的GPT-6 Astra已达10^27量级 [7] - 短短6年间前沿模型训练计算量增长了3000倍以上 [8] 训练算力供给框架:算存连管供五要素 - 总计算量可拆解为C≈P×G×u×T,即单卡峰值算力P、卡数G、有效利用率u与训练时间T的乘积,计算量C由模型决定训练时间T由竞争决定 [11] - 训练时间不能拉长的技术原因在于芯片一年一代,经济原因在于最前沿模型享有阶段性垄断和较高利润可投入下一轮训练形成正向循环,近两三年前沿模型正式训练大多在三到四个月内完成 [11] - Llama 3.1 405B若三个月内训完按四成利用率计算需要约1.2万张H100,Meta实际使用约1.6万张;GPT-6 Astra这样10^27量级模型若用GB200(单卡16位峰值约2.5 PFLOPS)四成利用率四个月训完需要约10万张卡,计算量再增长十倍就需要百万卡级集群 [12] - 一个4000亿参数模型仅参数梯度和优化器状态就需要数TB显存,而一张H100只有80GB,模型本身须切分到上百张卡上,训练集群必须通过高速互联连成一台机器 [12] - 训练数据中心由算存连管供五类要素构成,任何一项成为短板整台机器都无法高效运转 [14] - 加速卡按售价计占训练服务器成本的七到八成 [14] - 以B200为例HBM约值3000美元约占整卡物料成本的一半,但整卡售价在3万至4万美元之间,差额大部分是英伟达毛利 [14] - 博通首席执行官预计当集群走向50万到100万卡时网络芯片将占AI芯片支出的15%至20%,而传统数据中心交换机只占资本开支的个位数百分比 [15] - Meta披露Llama 3.1 405B训练MFU为38%至43%,训练中平均约3小时意外中断一次依靠快速恢复有效训练时间约九成;卡数从8192张翻倍到16384张MFU从43%降至41%,扩大到十万张卡平均约半小时就会中断一次 [16] - 训练GPT-6 Astra的10万张GB200连同配套设施功耗超过2亿瓦,一个1吉瓦的AI数据中心前期投资约380亿美元,功率规模相当于一座大型核电机组 [16] - 1000台通用服务器连同机房投资约为2000万美元,换成1000台8卡H100训练服务器总功率约11兆瓦是前者十几倍,合计投资约为4.6亿美元是前者20多倍,增量中五成在加速卡一成在网络三成在机房供电与制冷 [17] 供给瓶颈与定价权 - 先进制程与封装集中在台积电,HBM集中在三家存储厂,电力受制于电网建设周期,这三项扩产都以年计,需求却按模型代际变化约一年一代,供需节奏错配使稀缺环节获得定价权,2026年一季度服务器DRAM合同价单季上涨约九成 [18] - HBM规格围绕加速器需求反推,英伟达直接向三家存储厂采购再交由台积电封装,光模块液冷等厂商也围绕其机架参考架构设计产品,GPU厂商既是引擎也是规则制定者 [18] 英伟达的竞争壁垒 - 训练试错成本极高,系统一旦不稳定训练周期就会拉长,严重时数月时间和上亿美元投入付诸东流,理性选择是只采用经过大规模验证的方案为确定性支付溢价 [20] - Meta把Llama 3.1 405B的线上推理交给AMD,训练仍使用英伟达,原因在于推理可以先拿部分流量试验训练则试不起,用的人越多方案验证越充分下一个买家越不敢更换,这是典型网络效应 [20] - 英伟达优势覆盖公式中供应商能够左右的三个变量P、G和u,单卡算力P一年一代持续领先但竞争对手纸面参数可以追平,真正难以追赶的是G和u即能否把数万张卡连成一台机器并稳定运行数月 [20] - 英伟达2020年收购Mellanox获得InfiniBand,把纵向NVLink与横向集群网络都握在手中,通信库和算子库建立在近20年CUDA生态之上 [20] - 谷歌能用自研TPU训练Gemini是因为同时拥有芯片软件数据中心和模型研发 [21] 美国训练算力供给特征 - 主要云厂商资本开支从2021年的约1310亿美元增至2025年的约4160亿美元 [25] - 按EpochAI统计截至2025年5月美国约占全球GPU集群算力的四分之三,中国约占15% [25] - 美国芯片和HBM虽然紧张但市场化扩产机制运转正常,最硬约束反而是电力,数据中心用电占全美用电量比例2023年为4.4%预计2028年将升至6.7%至12% [25] 中国训练算力五项要素现状 - 算:高端GPU无法购买,自研瓶颈不在设计而在先进制程,华为昇腾950DT的8位精度算力约1 PFLOPS约为英伟达B200的两成多,下一代昇腾960DT预计2027年一季度就绪单卡约2 PFLOPS仍不及B200的一半 [26] - 存:海外HBM采购渠道基本被切断,国产唯一明确途径是长鑫存储,据报道已小规模试产HBM3E比国际三强落后一代,上一代HBM3综合良率估计仅为25%左右 [26] - 连:光模块由中国厂商主导,但高速DSP芯片和高端激光器仍依赖进口,交换芯片华为已做到51.2T而博通已达102.4T [26] - 管:CUDA积累了近20年,国产平台算子库通信库和工具链仍需补齐但差距可以追赶 [27] - 供:这是中国最强的一项,2025年中国新增发电装机5.4亿千瓦是美国同年的十倍 [28] - 国产算力目前主要用于推理,尚无国际前沿水平的模型在国产体系上完成预训练 [29] - 同样一个10^27量级模型同样四个月内训完,由于单卡算力约为B200的五分之一,采用昇腾950级芯片所需卡数约为英伟达方案的四到五倍即四五十万张,卡数越多利用率越难维持所需HBM和互联器件也成倍增加 [29] - 各地兴建的大量智算中心规模有限芯片型号各异,即使存在闲置算力也拼不成一台机器 [29] 突破训练算力瓶颈的短期路径 - 以系统弥补单卡:华为超节点把紧密互联范围扩展到跨机柜的4096张卡,灵衢总线让数千张卡在软件层面更像一台机器,近封装光学降低互联功耗与故障率 [31] - SemiAnalysis测算华为CloudMatrix 384超节点单位算力耗电是英伟达GB200 NVL72的两倍多,但电费仅占吉瓦级数据中心年化总成本7%左右,耗电翻倍只令总成本增加一成左右,电力恰是中国最充裕的资源 [31] - 在模型层面提效:混合专家架构只激活部分参数可大幅降低计算量,8位低精度训练使芯片峰值算力翻倍通信量减半等效于提升单卡性能,DeepSeek已证明这条路径可行 [31] - 用好进口芯片:今年中国对英伟达H200进口持审慎态度,据报道获批数量可能不到企业申请量的一半,前沿竞争存在时间窗口错过一代追赶成本成倍上升 [31] - 以安全可靠为标准两条腿走路:前沿训练在许可范围内用好进口芯片抢占时间,国产芯片先在推理和中等规模训练中放量逐步向前沿推进,资源应集中于少数大型训练集群避免分散投入 [32] 突破训练算力瓶颈的中期路径 - 没有EUV光刻机只能依靠存量有限的DUV光刻机以多重曝光逼近先进制程,设备保有量和良率决定昇腾产量,一颗昇腾960估计需配8到12块HBM,卡数放大HBM需求同步放大 [32] - 突破方向有三:国产GPU和HBM的良率与产能爬坡,补齐高速DSP芯片激光器和交换芯片等互联短板,推动软件生态从能用走向好用 [32] - 昇腾软件栈CANN于2025年8月宣布全面开源,DeepSeek也开源了面向昇腾的训练组件,开源技术本质上是反垄断的 [32] - 训练买家极度厌恶风险无人愿意率先在新平台上押上数月时间和上亿美元,无人使用平台就得不到验证越得不到验证越无人使用,首个吃螃蟹者的经验全行业都能受益 [33] - 政府可提出需求设立奖励:谁能在国产算力体系上完成一次前沿规模训练即给予奖励或有保障的采购合同,做不成奖励不发政府不承担财务风险,做成了每一分钱都换来实在成果 [34] - 目前中国能交付整套前沿训练体系的只有华为一家,事实上扮演中国英伟达的角色,路线一旦偏差便无第二套体系兜底,培育第二套训练体系推动接口与软件兼容是中期重要任务 [34] 突破训练算力瓶颈的长期路径 - 长期决定性因素是以光刻机为首的核心设备,这是先进制程芯片和HBM共同的瓶颈,国产光刻机以及刻蚀沉积量测等设备攻关才是真正的底层战场 [34] - 应探索绕开制程限制的新路径,例如华为提出的逻辑折叠但据其披露要到2030年前后才能用于训练芯片 [34] - 设备攻关资金固然重要人才更为关键,光刻机牵涉光学精密机械材料控制等众多学科,顶尖人才培养以十年计急不得但必须现在着手 [34]