Kimi K3 开源!有人用 80 张 RTX 5090 跑通了
程序员的那些事·2026-07-29 08:56
Kimi K3大模型开源与部署 - 北京时间7月27日23点起,Kimi在X平台发布预告片,随后正式开源K3大模型[1] - 7月28日05:23,有开发者使用80张RTX 5090游戏显卡成功跑通2.8万亿参数(2.8T params)的K3大模型[2] 硬件配置与性能对比 - 开发者部署的集群采用80张RTX 5090,使用GDDR7显存和25GbE以太网组网,未使用HBM高带宽显存和NVLink[2] - 该集群总显存为2.56 TB,聚合显存带宽达到143 TB/s[3] - 在硬件对比中,80张RTX 5090集群的总显存与32张H100 SXM 80G(2.56 TB)持平,但聚合显存带宽(143 TB/s)高于后者(107 TB/s)[3][4] - 该集群在刚跑通未调优时,单条对话输出速度已达到20 token/s,且后续仍有优化空间[3] 行业影响与替代方案 - 以往超大前沿模型普遍依赖高价、供货紧张的H100、H200等专业加速卡[5] - 此次验证表明,消费级游戏显卡集群(如RTX 5090)有机会成为替代方案[5] - 这一方案可能降低部署门槛,让更多实验室和初创团队有条件自主部署顶级开源大模型[5]