Workflow
RTX 5090
icon
搜索文档
传出去!本地运行 Kimi K3 很简单!
程序员的那些事· 2026-07-29 15:57
Kimi K3模型开源发布 - 北京时间7月27日23点起,Kimi在X平台发布预告片,并正式开源K3模型[1] 模型技术规格与存储要求 - 模型参数量为2.8T,采用MoE架构,具体为16/896[2] - 模型原生格式为MXFP4,即训练时即采用的4-bit精度,且不可再进行INT4量化[2] - 运行模型所需的总VRAM约为1,750 GB[2] - 模型权重文件大小约为1.4 TB,由97个safetensors文件组成[2] - 存储要求为NVMe SSD,容量需大于等于2 TB,若使用SATA加载则需30分钟以上[2] 硬件配置方案与成本估算 - 绝对最低配置需4张H100 80GB GPU,总VRAM 320 GB,支持64K上下文,硬件成本估算约12万美元[3] - 实用甜点配置需5-6张H100 80GB GPU,总VRAM 400-480 GB,支持128K-256K上下文,硬件成本估算约15万至18万美元[3] - 推荐生产配置需8张H100 80GB GPU,总VRAM 640 GB,支持512K上下文,硬件成本估算约24万美元[3] - 官方推荐配置需22张H100 80GB GPU,总VRAM 1,750 GB,支持1M上下文,硬件成本估算约55万至70万美元[3] - 有网友调侃本地运行Kimi K3需8张H100 GPU,并需自备小型变电站[3] - 有博主估算,开发者Ning提出的使用80张RTX 5090游戏显卡的方案成本相对更低[5][7]
Kimi K3 开源!有人用 80 张 RTX 5090 跑通了
程序员的那些事· 2026-07-29 08:56
Kimi K3大模型开源与部署 - 北京时间7月27日23点起,Kimi在X平台发布预告片,随后正式开源K3大模型[1] - 7月28日05:23,有开发者使用80张RTX 5090游戏显卡成功跑通2.8万亿参数(2.8T params)的K3大模型[2] 硬件配置与性能对比 - 开发者部署的集群采用80张RTX 5090,使用GDDR7显存和25GbE以太网组网,未使用HBM高带宽显存和NVLink[2] - 该集群总显存为2.56 TB,聚合显存带宽达到143 TB/s[3] - 在硬件对比中,80张RTX 5090集群的总显存与32张H100 SXM 80G(2.56 TB)持平,但聚合显存带宽(143 TB/s)高于后者(107 TB/s)[3][4] - 该集群在刚跑通未调优时,单条对话输出速度已达到20 token/s,且后续仍有优化空间[3] 行业影响与替代方案 - 以往超大前沿模型普遍依赖高价、供货紧张的H100、H200等专业加速卡[5] - 此次验证表明,消费级游戏显卡集群(如RTX 5090)有机会成为替代方案[5] - 这一方案可能降低部署门槛,让更多实验室和初创团队有条件自主部署顶级开源大模型[5]