推理服务器

搜索文档
DeepSeek一句话让国产芯片集体暴涨!背后的UE8M0 FP8到底是个啥
量子位· 2025-08-22 13:51
文章核心观点 - DeepSeek V3.1发布采用UE8M0 FP8参数精度 引发市场对国产芯片技术升级和生态协同的高度关注 带动相关企业股价显著上涨 [1][3][4] - UE8M0 FP8技术通过块级缩放和动态范围优化 显著降低带宽需求并提升计算效率 成为适配下一代国产芯片的关键创新 [10][11][19][20] - 国产AI芯片厂商如寒武纪、海光、沐曦等已布局FP8支持 软硬协同生态构建有望减少对国外算力依赖 提升行业竞争力 [23][24][33][34] 技术架构分析 - UE8M0 FP8由Open Compute Project定义 采用8位微缩块格式 通过分块缩放因子扩展动态范围数十倍 [8][10][11] - UE8M0格式无符号位和尾数位 全部分配8bit至指数位 处理器复原数据仅需移动指数位 无需浮点乘法或舍入逻辑 [14][19] - 相比传统FP32缩放 UE8M0使32个FP8数据仅追加8bit缩放因子 节省75%流量 显著优化带宽和功耗 [24] 国产芯片厂商动态 - 寒武纪早盘股价大涨近14% 总市值超4940亿元 跃居科创板首位 其MLU370-S4及思元590/690系列均支持FP8计算 [4][29] - 海光深算三号DCU、沐曦曦云C600、中昊芯英"刹那"TPU及摩尔线程MTT S5000均已支持FP8精度计算 [23][32] - 华为昇腾路线图显示2025Q4将支持原生FP8 预计2026年推出的新品可能成为"下一代芯片" [30] 产业生态影响 - 半导体ETF半日大涨5.89% 科创50指数涨3%创近三年半新高 芯片产业链集体走强 [4][31] - DeepSeek与15家厂商联合验证UE8M0格式 包括中国电信、昆仑芯等8家通过大模型适配 构建统一软硬协同生态 [23][27][34] - 技术升级提升国产芯片"性价比" 同等硬件可运行更大模型 实质性减少对英伟达、AMD等国外算力依赖 [33][34]
对话红帽全球副总裁曹衡康:AI成本下降了 芯片的量一定会起来
每日经济新闻· 2025-06-14 17:02
AI推理技术发展现状 - 行业共识认为算力成本终将降低,但降低路径尚未统一,主要选项包括数据中心、一体机和推理服务器[1] - 红帽全球副总裁曹衡康提出2025年是AI推理元年,标志着AI应用将正式上线运行并为企业创造实际价值[1] - 当前推理技术栈存在两个主流方向,红帽选择vLLM框架作为其技术路线,该框架已成为开源领域事实标准[1] 中国在AI推理领域的参与 - 在vLLM社区中,中国贡献者占比达到35%,显示中国在推理技术领域的活跃参与[1] - 红帽高管认为中国可能成为最先实现企业价值的AI推理市场[1] 技术挑战与解决方案 - 当前面临两大技术难点:如何以最小硬件成本实现高性能推理,以及如何实现分布式推理引擎[1] - 红帽2025年推出推理服务器解决方案,主要优势在于降低企业算力成本[2] - 公司明确战略定位为纯软件提供商,不涉足硬件领域[2] 行业需求展望 - 随着AI应用成本降低,预计使用AI的企业数量将从1000家增长至1万-100万家规模[2] - 行业高管预判GPU需求量将随AI普及而显著增长[2] - 当前重点在于降低AI使用门槛以促进更广泛采用[2]