AI推理
搜索文档
AI芯片黑马融资53亿,估值490亿
半导体行业观察· 2025-09-18 10:09
融资与估值 - Groq Inc 宣布完成7.5亿美元的新一轮融资,由Disruptive领投,思科、三星电子、德国电信资本合伙公司等多家机构参与 [3] - 公司当前估值为690万美元,相比去年的28亿美元估值有显著提升 [3] 核心技术:语言处理单元 - Groq推出的语言处理单元是一款专为AI推理设计的处理器,声称在运行某些推理工作负载时,能效比显卡高10倍 [3][8] - LPU通过降低处理器组件间的协调开销,为AI模型推理释放更多处理能力,能够运行包含1万亿个参数的模型 [3] - 芯片采用确定性架构,可以单个时钟周期的粒度预测计算操作时间,有助于实现性能优化 [4] 技术优势与设计原则 - LPU使用自定义编译器,在推理工作负载启动前预先计算任务分配,减少运行时计算开销 [4] - 编译器采用改进的RealScale量化技术,仅压缩神经网络中输出质量不会显著下降的部分,以减少内存占用 [4] - 设计原则包括软件优先、可编程装配线架构、确定性计算和网络、以及片上存储器 [8] - 软件优先原则使开发人员能最大化硬件利用率,LPU专为线性代数计算设计,简化了多芯片计算范式 [9][10] - 可编程装配线架构通过数据"传送带"在功能单元间传输指令和数据,由软件完全控制,无需硬件同步,消除了瓶颈 [11][12] - 确定性计算确保每个执行步骤完全可预测,通过消除数据带宽和计算资源的争用来实现高度确定性 [13] - 片上存储器采用SRAM,内存带宽高达80 TB/秒,相比GPU片外HBM的约8 TB/秒,速度提升10倍,并减少了数据检索的延迟和能耗 [14] 产品与市场应用 - 公司将芯片作为GroqRack设备的一部分出售,该系统包含九台服务器,每台配备多个LPU,所需外部网络硬件更少,降低了成本且易于数据中心安装 [4] - 通过云平台GroqCloud提供芯片访问,开发者可通过API将LPU驱动的AI模型集成到自身软件中;新融资将用于扩展支持该平台的数据中心网络 [5] - 有报道称竞争对手推理芯片供应商Rivos正寻求以20亿美元估值融资至多5亿美元,其产品为结合显卡与CPU核心的片上系统 [6]
中金:英伟达Rubin CPX采用创新解耦式推理架构 或驱动PCB市场迭代升级
智通财经网· 2025-09-17 16:34
Rubin CPX产品创新 - 采用解耦式推理架构 专为处理超长上下文AI推理任务设计[1] - 在NV FP4精度下提供30 Peta FLOPS计算性能[1] - 配备128GB GDDR7内存 内存带宽达2TB/s[1] - 采用传统FC-BGA倒装封装的单芯片设计[1] 硬件架构升级 - 托盘前端采用模块化设计 四块子卡分布于托盘两侧[2] - 包含2块Rubin CPX GPX芯片与2块CX-9网卡[2] - 散热系统由风冷升级为液冷 Tray内新增液冷板[2] - 热管和均热板将热量从GDDR7内存模块传导至冷板[2] - 采用无线缆架构 新增Paladin B2B连接器[1][2] - 连接器与机箱中间的PCB中板(mid plane)相连[1][2] PCB市场价值提升 - VR200NVL144单机柜PCB价值量约45.6万元[3] - 单GPU对应PCB价值量为6,333元(880美元)[3] - 较GB300提升113%[3] - 预计2027年GB300 NVL72/VR200 NVL144/VR300 NVL576出货量分别为1/7/2万rack[3] - 合计10万rack 对应PCB市场规模达69.6亿美元[3] - 较2026年增长142%[3] 产业链受益标的 - 生益科技(600183SH) 深南电路(002916SZ) 兴森科技(002436SZ)[4] - 鹏鼎控股(002938SZ) 东山精密(002384SZ) 胜宏科技(300476SZ)[4] - 沪电股份(002463SZ) 生益电子(688183SH) 景旺电子(603228SH)[4] - 方正科技(600601SH) 广合科技(300964SZ)等[4]
中金:英伟达(NVDA.US)Rubin CPX采用创新解耦式推理架构 或驱动PCB市场迭代升级
智通财经网· 2025-09-17 16:32
Rubin CPX产品架构创新 - 采用解耦式推理架构专为超长上下文AI推理任务设计 在NV FP4精度下提供30 Peta FLOPS算力性能[1] - 配备128GB GDDR7内存且内存带宽达2TB/s 采用传统FC-BGA倒装封装的单芯片设计[1] - 托盘前端采用模块化设计 四块子卡分布于托盘两侧包含2块Rubin CPX GPX芯片与2块CX-9网卡[2] 硬件端技术升级 - 散热方案由风冷升级为液冷 Tray内新增液冷板通过热管和均热板传导GDDR7内存模块热量[2] - 连接器/PCB采用无线缆架构 新增Paladin B2B连接器与机箱中间的PCB中板相连[1][2] 市场规模与价值量预测 - 单机柜PCB价值量约45.6万元 单GPU对应PCB价值量6,333元(880美元)较GB300提升113%[3] - 2027年GB300 NVL72/VR200 NVL144/VR300 NVL576出货量预计达1/7/2万rack 合计10万rack[3] - 2027年英伟达AI PCB市场规模预计达69.6亿美元 较2026年增长142%[1][3] 产业链受益标的 - PCB产业链涉及生益科技 深南电路 兴森科技 鹏鼎控股 东山精密 胜宏科技 沪电股份 生益电子 景旺电子 方正科技 广合科技等上市公司[4]
算力需求重心从训练转向推理 全球AI基础设施建设全面加速
中国证券报· 2025-09-16 06:20
甲骨文业绩与算力需求转变 - 甲骨文单日股价大涨40% 主要受云基础设施业务剩余履约义务同比增长359%至4550亿美元推动 其中近60%来自与OpenAI签署的5年3000亿美元推理算力订单[1] - 公司预计2026财年云基础设施收入同比增长77%至180亿美元 并给出未来四年增长指引:320亿/730亿/1140亿/1440亿美元[2] - 算力需求结构从训练为主转向推理为主 甲骨文CEO表示AI推理市场规模将远超训练市场 推理算力正被耗尽[1] AI推理商业化与行业应用 - 中国信通院指出算力结构正从70%用于训练转向70%用于分布式推理 大模型推理应用成为智能化转型核心引擎[2] - IDC认为2025年AI算力将进入"训推拐点" 商业模式从技术竞赛转向价值共享与产业落地[3] - 国家数据局披露中国日均Token消耗量突破30万亿 一年半增长300多倍 沙利文报告显示中国企业级大模型日均Token消耗量达10.2万亿 较2024年底暴涨363%[3] 云厂商AI基础设施投入 - 阿里云季度收入同比增长26%至333.98亿元 AI相关收入连续八季度实现三位数增长[4] - 中国AI云市场2025年上半年规模达223亿元 预计全年增长148% 2030年将达1930亿元[5] - BAT第二季度资本开支合计615.83亿元 同比上涨168% 阿里云宣布三年投入3800亿元用于云和AI基础设施 季度资本开支达386亿元创历史新高[6] 全球AI基础设施竞争格局 - 摩根士丹利上调2025年全球11大云厂商资本支出预期至4450亿美元 年增56% 2026年预计达5180亿美元[6] - 阿里云今年新增8个全球数据中心 覆盖中国/泰国/韩国/马来西亚/阿联酋/墨西哥[6] - 万卡级算力集群成为行业标配 但中国面临算力芯片生态碎片化挑战 有数十款芯片对应不同开发框架[7] 技术瓶颈与产业协同 - 大规模算力集群需解决互联效率损失问题 以提升整体计算效率[7] - 工信部强调要加快突破GPU芯片等关键技术 扩大基础共性技术供给 推进算力强基行动[7] - 产业各方需共同完善算力网络技术标准体系 聚焦智算卡间互联/机间互联/AI应用跨架构迁移等方向[8]
算力需求重心从训练转向推理全球AI基础设施建设全面加速
中国证券报· 2025-09-16 04:22
甲骨文业绩与算力需求转变 - 甲骨文单日股价大涨40% 受云基础设施剩余履约义务同比增长359%至4550亿美元推动 其中近60%来自与OpenAI的5年3000亿美元推理算力订单[1] - 公司预计2026财年云基础设施收入同比增长77%至180亿美元 并预测后续四年分别增至320亿/730亿/1140亿/1440亿美元[2] - 算力需求结构从训练为主转向推理为主 甲骨文CEO称推理市场规模远超训练市场 当前推理算力正被耗尽[1] 全球算力市场结构转型 - 中国信通院指出算力结构正从70%以上用于训练转向70%以上用于推理 IDC预测2025年AI算力进入"训推拐点"[2] - 中国企业级大模型日均Token消耗量达10.2万亿 较2024年底暴涨363% 全国日均Token消耗量突破30万亿[3] - 生成式AI推动中国AI云市场2025年上半年达223亿元 预计全年增长148% 2030年规模将达1930亿元[3] 云厂商资本开支与基础设施投入 - BAT第二季度资本开支合计615.83亿元 同比上涨168% 重点投向AI基础设施与核心技术研发[4] - 阿里云宣布三年投入3800亿元用于云和AI硬件 季度资本开支达386亿元创历史新高 全球新增8个数据中心[4] - 全球11大云厂商2025年资本支出预期上调至4450亿美元 年增56% 2026年预计达5180亿美元[4] 技术挑战与产业协同需求 - 万卡级算力集群成为投资标配 需解决互联效率损失问题以提升整体计算效率[5] - 中国算力芯片生态存在碎片化挑战 涉及数十款芯片与不同开发框架/软件栈/算子库[5] - 工信部强调加快突破GPU芯片等关键技术 中国移动呼吁完善算力网络技术和标准体系[5]
大洗牌!这三只ETF爆了
格隆汇· 2025-09-15 15:55
AI驱动的财富格局重塑 - AI技术革命引发全球富豪榜重大洗牌,最新全球富豪榜前十名中有七位是科技巨头创始人,分别来自特斯拉、Meta、亚马逊、甲骨文、谷歌、微软等公司 [1] - 英伟达成为全球首家市值达4万亿美元的公司,创始人黄仁勋身家历史性超越巴菲特 [1] - 甲骨文股价在2025年9月10日单日飙升近36%,创下自1992年以来最大单日涨幅,一度将其创始人埃里森推上世界首富宝座 [1][3] 云服务与AI基础设施投资热潮 - 北美四大云巨头2025年第二季度资本开支总计同比增长64%,掀起史无前例的AI军备竞赛 [4] - 甲骨文因与OpenAI、xAI、Meta、英伟达、AMD等AI巨头签订云合同,其剩余履约义务(RPO)增长至4550亿美元,同比暴增359% [3] - 甲骨文预计云业务营收将在未来四年高速增长,分别达到320亿美元、730亿美元、1140亿美元和1440亿美元,并将2026财年资本支出预算提高至350亿美元 [3] AI推理市场成为新增长点 - 甲骨文CEO强调AI推理市场规模比训练市场大得多,并表示市场尚未完全理解这场海啸即将到来的程度 [3] - 花旗报告指出AI推理需求大爆发比预期来得更早、更猛烈,云厂商的资本开支逻辑被彻底改写 [3] CPO(共封装光学)技术发展 - 在AI数据中心功耗飙升、铜缆传输瓶颈日益明显的背景下,共封装光学(CPO)正成为AI基础设施升级的关键路径 [5] - 行业专家认为CPO正逐步突破功耗与集成瓶颈,或将在2028-2029年开启AI服务器互连的大规模应用 [5] - 创业板人工智能ETF南方(159382)跟踪的指数中CPO相关成分股权重合计高达51.52%,包含中际旭创(20.28%)、新易盛(18.79%)、天孚通信(6.50%)等公司 [5][6] AI芯片产业链增长 - 芯原股份在2025年7月1日至9月11日期间新签订单12.05亿元人民币,创历史新高,其中AI算力相关订单占比约64% [10] - 科创芯片ETF南方(588890)覆盖半导体全产业链,前三大权重股为寒武纪(16.85%)、海光信息(11.22%)和中芯国际(8.92%) [10][11] 人形机器人应用前景 - 马斯克表示特斯拉未来约80%的价值将来自于擎天柱人形机器人,特斯拉董事会公布的万亿美元薪酬计划要求在未来十年内生产100万个人形机器人 [12] - 机器人ETF南方(159258)跟踪的中证机器人指数对工业机器人核心零部件(如减速器、伺服电机)的权重占比达28%,高于同类指数的19% [13][15] - 该ETF前十大权重股包括汇川技术(10.10%)、科大讯飞(8.56%)、石头科技(5.20%)等产业链关键环节公司 [16] AI主题ETF市场表现 - 创业板人工智能ETF南方(159382)自2025年5月9日上市以来涨幅超80%,在可比标的中排名第一 [5][21] - 科创芯片ETF南方(588890)区间涨幅达49.24%,在5只可比标的中排名第一 [21] - 机器人ETF南方(159258)区间涨幅为17.14%,在8只可比标的中排名第二 [21]
集邦咨询:AI推理需求导致Nearline HDD严重缺货 预计2026年QLC SSD出货有望趁势爆发
第一财经· 2025-09-15 13:54
行业趋势 - AI创造庞大数据量冲击全球数据中心存储设施 [1] - 传统海量数据存储基石Nearline HDD出现供应短缺 [1] - 高效能高成本SSD逐渐成为市场焦点 [1] 产品发展 - 大容量QLC SSD出货可能于2026年出现爆发性增长 [1]
研报 | AI推理需求导致Nearline HDD严重缺货,预计2026年QLC SSD出货有望趁势爆发
TrendForce集邦· 2025-09-15 13:46
AI驱动数据中心存储需求变革 - AI创造庞大数据量冲击全球数据中心存储设施 传统Nearline HDD出现供应短缺 高效能高成本SSD成为市场焦点 大容量QLC SSD出货可能于2026年出现爆发性增长[2] - 在传统数据中心储存分层架构中 HDD凭借每单位储存容量极低成本优势稳居冷数据主流储存方案 冷数据包含备份档案历史记录等不常被存取但需长期归档保存的数据[2] - SSD以其高速读写性能主要负责需频繁存取的热数据和温数据 QLC SSD相比Nearline HDD不仅效能较佳 还可节省约30%耗电量[2] 产品性能与市场供需分析 - Nearline HDD交付周期达52周 每GB平均售价0.015美元 最大容量32TB 性能较低 能效较低[3] - QLC SSD交付周期仅8周 每GB平均售价0.05-0.06美元 最大容量122TB 性能强 能效较高[3] - 全球主要HDD制造商近年未规划扩大产线 无法满足AI刺激的突发性巨量储存需求 NL HDD交期从数周急剧延长至52周以上[5] 行业转型趋势与价格展望 - 北美CSP早已规划在温数据应用扩大采用SSD 因HDD缺口严峻 甚至开始考虑在冷数据采用SSD[5] - CSP导入QLC SSD于冷数据储存需考量数据管理算法修正 软件堆栈适配 以及对整体拥有成本TCO的精算[5] - 买卖双方将进行价格博弈 预计带动2025年第四季整体Enterprise SSD合约价季增5-10%[6]
微软用「光」跑AI登上Nature,100倍能效颠覆GPU,华人首席研究员扛鼎
36氪· 2025-09-15 11:41
核心技术突破 - 微软开发出模拟光学计算机(AOC) 利用光进行数学计算 通过市售部件(Micro LED、手机摄像头传感器、光学镜头)构建硬件原型 [1][4][6] - AOC采用固定点搜索运行机制 光学部分处理矩阵-向量乘法 电子部分处理非线性运算 每次循环仅需20纳秒 通过迭代收敛至问题答案 [6][8] - 技术解决光学计算长期难题:避免高成本数模转换降低能耗 天然抗噪声特性保障计算稳定性 [8][9] 应用场景验证 - 金融领域与巴克莱银行合作 解决46笔交易、37方参与的货银对付结算问题 将问题转化为41变量优化后 AOC仅7次迭代即获最优解 [14][16] - 医疗领域实现MRI图像重建 用64变量成功复原32×32脑部切片图像 通过数字孪生技术处理20万变量真实脑部MRI数据集 [18][20] - 技术具备跨行业适用性 巴克莱工程师确认其在金融优化问题潜力 医疗总监设想未来通过Azure实现MRI数据流式传输 将扫描时间从30分钟缩至5分钟 [16][20] AI计算革新 - AOC固定点搜索机制天然适配平衡模型(如深度平衡网络) 在MNIST和Fashion-MNIST分类任务中与数字孪生结果99%对齐 非线性回归任务表现稳定 [21][22] - 通过时间复用技术扩展至等效4096权重规模 证明硬件可扩展性 研究人员认为其特别适合大语言模型推理中的状态跟踪任务 [22][23] - 能效潜力显著超越现有GPU 预估成熟版AOC达500 TOPS/W(2fJ/操作) 较NVIDIA H100的4.5 TOPS/W提升超100倍 [24][26] 技术发展路径 - 当前原型处理权重规模为数百级别 规划通过模块化扩展实现单模块400万权重 整体规模可达0.1–20亿权重 [24] - 研究团队强调AOC非通用计算机 而是面向关键场景的光学加速器 目标成为未来AI基础设施组成部分 [27][36] - 技术从实验室概念发展为实际硬件 历时四年研究 成果发表于Nature期刊 获微软CEO公开认可 [10][11][14]
推理专用芯片RubinCPX重磅发布,产业链迎来新机遇
开源证券· 2025-09-12 17:12
报告行业投资评级 - 投资评级:看好(维持)[2] 报告核心观点 - 英伟达发布推理专用芯片Rubin CPX 该芯片专为大规模上下文AI模型设计 通过优化计算与内存配置实现较高成本效益 其架构变化为PCB 铜缆连接器和组装等产业链环节带来新机遇[5][6][7] 行业技术分析 - AI推理包含Prefill和Decode两个阶段 Prefill阶段强调算力需求高吞吐量处理 Decode阶段依赖内存带宽和高速互联方案[5] - Rubin CPX芯片设计侧重计算FLOPS而非内存带宽 提供20 PFLOPS的FP4密集计算能力 内存带宽为2TB/s 配备128GB GDDR7内存[5] - 与HBM相比 GDDR7内存使每GB成本降低超过50%[5] 产品架构与配置 - Rubin CPX推出使VR200服务器机架扩展为三种版本:VR200 NVL144(72个R200 GPU) VR200 NVL144 CPX(144个Rubin CPX GPU加72个R200 GPU) Vera Rubin CPX双机架(独立VR200 NVL144机架加VR CPX机架含144个Rubin CPX GPU)[6] - 新架构中每个computer tray配置不同 VR200 NVL144为4个R200 GPU VR200 NVL144 CPX为4个R200 GPU加8个Rubin CPX GPU VR CPX机架为8个Rubin CPX GPU[6] 产业链影响与投资建议 - 机柜内芯片互联和机柜外网络互联复杂性增加 推动PCB和铜缆连接器需求提升[6][7] - PCB环节受益标的包括沪电股份 胜宏科技 深南电路 生益电子 景旺电子 鹏鼎控股 广合科技 方正科技 世运电路 奥士康 生益科技等[7] - 铜缆连接器环节受益标的包括华丰科技 沃尔核材 鼎通科技等[7] - 组装环节受益标的包括工业富联等[7]