推理芯片
搜索文档
英伟达重磅结盟 取得AI新创Groq推理芯片技术授权 台链沾光
经济日报· 2025-12-26 07:12
根据双方协议,英伟达将取得Groq推理芯片技术非独家技术授权,Groq共同创始人罗斯、总裁马德拉 (Sunny Madra)及其他团队成员都将加入英伟达,帮助推进并扩大Groq的授权技术,但Groq仍将继续 以独立公司运营,由财务长爱德华兹(Simon Edwards)担任CEO。 根据Groq官网,该公司成立于2016年,曾被评选为美国十大国家安全科技公司之一,专攻推论相关业 务,打造推理专用芯片与AI推理平台系统,标榜能为开发者提供所需的极致性能,同时又不会受成本 所束缚。该公司与美国能源部、Meta等都有所合作。 Groq共同创始人罗斯是Google TPU的催生者之一,开发专为推论设计的语言处理器(LPU),号称具 备低功耗、高效应对等效能。 英伟达12月24日与AI新创Groq共同宣布,双方达成非独家推论技术授权协议,授权英伟达使用Groq的 推理芯片技术,并将整合至其未来产品的芯片设计内。 黄仁勋强调,英伟达并未收购Groq整间公司,而是引进其人才并取得知识产权。 外媒分析,英伟达这桩交易架构,类似Meta今年6月投资Scale AI的方式,未收购整间公司,得以避开 反垄断当局的监管审查,但能砸钱 ...
专访云天励飞董事长陈宁:AI推理时代已至,推理芯片崛起将是中国科技复兴巨大机遇
每日经济新闻· 2025-12-24 16:35
行业趋势:AI产业从训练转向推理的范式革命 - 2025年被业界视为AI应用大爆发的元年,智能体正从概念走向现实,应用爆发的背后是百倍增长的推理算力需求与高昂成本之间的矛盾 [2] - 人工智能产业发展分为三个阶段:2012-2020年为“智能感知”时代;2020-2025年为“AIGC”时代;2025年进入“Agentic AI”时代,核心特征是应用爆发,所需算力从以训练为主转向以推理为主 [3] - 从训练到推理是根本性转折,训练追求极致性能和迭代速度,而推理要大规模商业化必须追求极高的性价比 [3] - 这一转变打破了英伟达凭借CUDA生态和GPGPU在训练时代建立的垄断格局,为全球参与者提供了新机遇 [4] 市场机遇:中国在推理芯片赛道的“超车”机会 - 推理芯片赛道是中国实现“超车”的关键,中国第一次与全球站在相近的起跑线 [2] - 在训练赛道上,由于先进制程受限和CUDA生态壁垒,中国追赶英伟达差距较大,但在推理赛道上全球都刚刚起步,游戏规则不同 [5] - 推理更接近应用场景,需要为用户提供更高性价比的产品,这正是中国产业所擅长的,推理芯片的崛起将是中国科技复兴的巨大机遇 [5] - 市场规律证明了推理赛道的不可替代性,谷歌在TPU战略中明确“训推分离”,博通为Meta、OpenAI定制推理芯片,都证明了独立推理赛道的崛起与巨大潜力 [5] 技术挑战与解决方案:降低推理综合成本 - 面对推理时代的需求,一味模仿英伟达的GPGPU架构并非出路,推理任务的计算范式发生根本变化,“Prefill”和“Decode”两个阶段对算力和带宽的需求截然不同 [6] - 公司提出了新的“GPNPU”架构,旨在融合三大核心能力:结合GPGPU的SIMT编程范式以兼容CUDA生态;结合指令集微架构设计优化矩阵计算硬件;基于国产工艺和先进封装技术打破内存瓶颈 [6] - GPNPU目标是在计算算力、存储带宽、存储容量三者间实现更优配比,通过高能效、低功耗等技术降低运营能源成本,全方位降低用户的总体拥有成本 [6] - 为支撑AI规模化产业化,需要在较短周期内把“百万token”的推理综合成本降低到“一分钱”级别,这需要通过架构革命和工艺创新实现 [7] 市场需求与规模:推理算力需求呈爆炸性增长 - 以豆包大模型为例,其日均Token处理量已达50万亿且增速惊人,即便以此为基础不再增长,大规模在线推理的资本与运营开支也非常可观 [7] - 有媒体报道称字节跳动2026年AI基建相关资本开支预算约1600亿元,反映出头部厂商对推理基础设施的投入强度显著抬升 [7] - 若token规模短期继续上行,明年上半年可能触及100万亿,在单位能效无显著改善的情况下,电力与散热等基础设施压力可能出现“千倍级”的数量级跃迁 [7]
美股异动 | 股价持续下跌 博通(AVGO.US)跌逾4% 业绩高增长遭质疑
智通财经网· 2025-12-15 23:36
公司近期市场表现与风险触发点 - 继上周五股价大跌逾11%之后,周一,博通股价再度跌逾4%,报344.96美元 [1] - 财报披露的营收数据成为风险暴露的触发点 [1] 公司增长质量与业务结构风险 - 财报附注显示,AI研发投入同比增幅(27%)与专利数量增幅(5%)显著背离,暴露其增长更多依赖订单规模扩张而非技术壁垒提升 [1] - AI业务毛利率为51% [1] - 前三大客户收入集中度高达75%,加剧收入波动风险 [1] - 过度依赖定制化代工模式导致盈利弹性不足 [1] 行业面临的经营与财务风险 - 客户压价导致毛利率收窄 [1] - 推理芯片产能过剩引发价格战 [1] - 公司债务规模达698亿美元,高债务在利率高位环境下放大了盈利下滑的冲击 [1] 资本市场估值逻辑的转变 - 资本对AI芯片行业的估值逻辑,正从“唯增速论”转向对盈利稳定性与风险可控性的综合考量 [1] - 公司“高增长+高风险”的组合,与当前资本追求“确定性”的偏好形成鲜明反差 [1]
昉擎科技完成超5亿元多轮融资 | 融资速递
钛媒体APP· 2025-12-15 10:59
公司融资与资金用途 - 上海昉擎科技宣布连续完成总计超5亿元多轮融资 [2] - Pre-A轮由某互联网大厂领投,芯联资本、恒生电子产业基金(翌马资本)、广发信德及某头部VC机构联合投资,老股东临港科创投、三七互娱持续加注 [2] - 天使+++轮由达武创投投资 [2] - 筹集资金将用于核心技术研发,产品化,生态及市场拓展 [2] 公司背景与团队 - 昉擎科技成立于2022年底 [2] - 2024年8月,寒武纪CTO、海思前麒麟SoC总架构师梁军加入公司并出任CEO [2] - 公司核心团队曾主导参与国内多款主流AI芯片设计到量产全流程工作 [5] - 公司目前已经完成团队组建,关键技术研发,产品开发按计划进行 [3] 核心技术架构 - 公司聚焦于解耦的分布式AI计算架构 [2] - 提出“上下文相关”与“上下文无关”解耦的分布式计算架构,将前馈神经网络与注意力机制解耦为两个独立模块 [2] - 该设计将解耦的模块分配给最适合的硬件架构做分布式处理,而非像传统Transformer那样将两者串联在同一层中 [2] - 公司认为此设计能提高整体计算效率,是一个重要的技术演进趋势 [2] - 公司基于解耦的分离式架构设计了新的计算系统 [2] - 其数据流和分离计算的创新AI芯片架构,有望进一步突破计算效率瓶颈 [5] 产品进展与市场潜力 - 公司基于解耦的分离式架构设计的系统方案,有潜质开拓出新的系统形态,加速产业的创新速度 [3] - 公司希望通过系统架构和底层技术创新,改变现有AI硬件设计思路,创造出新的市场 [4] - 其创新架构有望精准解决传统算力在高并发场景下的效率损耗问题,为行业提供“算力适配场景”的新路径 [6] 行业趋势与投资逻辑 - 随着大模型从云端训练向业务推理和端侧应用渗透,推理侧算力需求爆发增长,多样化、低成本的模型部署需求正在迅速增加 [5] - 伴随着长上下文推理、思维链、多模态生成等技术大幅提升模型推理能力,模型在各推理场景的应用正在快速扩张和渗透,进一步带动了算力基建的需求 [5] - 在数字经济深度发展的当下,金融行业对智能算力的需求正从“基础支撑”向“核心驱动”加速转变,对推理侧算力的低延迟、低成本和高稳定提出了更高要求 [6] 投资人观点与公司前景 - 投资人认为公司有望推动国产AI基础设施继续迭代进步,成为新一代国产算力芯片领军公司 [5] - 投资人看好公司未来成长为AI算力领域的重要一极,以其创新的产品定义为产业持续赋能 [5] - 投资人期待公司与行业伙伴协同发展,打通“算力技术 - 金融场景 - 产业价值”的闭环,既助力金融行业智能化转型降本提效,也为国产算力生态的多元化发展注入新活力 [6]
诺奖得主杰弗里·辛顿对谈云天励飞董事长陈宁 AI训练成本或下降99%
深圳商报· 2025-12-04 07:06
行业趋势:AI发展进入新阶段 - 2025年人工智能正从大模型算法走向落地应用阶段从训练时代进入到应用推理时代 [1][3] - 行业讨论更高频的词汇不仅仅是大模型还有Agent [3] - 到2035年AI将实现从训练到推理整体的转型AI模型会有更多应用 [4] 技术焦点:推理芯片与成本 - 行业更需要关注百万token的成本和功耗以及低成本低功耗的推理芯片 [3] - 未来推理芯片的规模会进一步提升超越训练芯片 [4] - 到2030年训练芯片的规模可能在1万亿美元左右而推理芯片可能接近4万亿美元 [4] - 未来5年AI将重新定义所有数字应用硬件和电子设备AI处理芯片无处不在 [4] 技术演进:计算形态与能效 - 现有计算体系在能耗和效率上面临越来越大的压力未来需要在新的计算形态上进行更多探索 [2] - 模拟计算类脑芯片以及基于类器官的计算等方向在理论上有望在功耗和通信能力上展现出明显优势 [2] - 目前基于脑细胞类器官的计算研究仍处于非常早期阶段不足以承担大规模AI负载 [2] - 过去训练AI花费可能高达数十亿美元行业需要打造更经济的AI训练模式 [2] - 目标是将生成100万token的成本从1美元降到1美分即降低99% [2] 行业共识:AI安全与发展方向 - AI学习效率和知识传递速度比人类提升了好几十亿倍 [1][2] - AI系统之间的知识蒸馏与分享效率比人与人之间的信息传递代际传递效率提升好几十亿倍 [2] - 全球应携手让AI朝着正确向善的方向发展确保AI的安全性 [1][2] - 需要打造智能向善的AI让全人类都足够受益 [2]
AI“向善”、训练成本、推理芯片……“AI教父”辛顿对话云天励飞董事长陈宁
搜狐财经· 2025-12-03 18:43
人工智能技术趋势 - 人工智能正从大模型算法阶段进入落地应用阶段,2025年被视为“应用推理时代”的开端 [1][13][14] - 模拟计算、类脑芯片以及基于类器官的计算等新计算形态被探索,理论上在功耗和通信能力上有优势,但类器官计算研究仍处早期阶段 [9] - 未来AI将重新定义所有数字应用、硬件和电子设备,包括消费电子及企业级产品 [14] AI安全与治理 - 专家强调AI安全治理的重要性,AI学习效率和知识传递速度比人类提升数十亿倍 [1][5] - 需确保AI向正确、向善的方向发展,防止AI欺骗人类,使其为全人类服务 [1][5][6] - 倡导全球联合进行AI治理技术研究,携手确保AI安全性 [5] AI成本与可及性 - AI训练成本有望大幅下降,目标是将生成100万token的成本从1美元降至1美分,实现100倍降低 [7][8] - 打造更经济的AI训练模式是关键,使AI使用成本接近水电气等基础设施水平,让偏远地区学生、基层医院和中小企业受益 [6][8] - 低成本、低功耗的AI是让更多人用得起、用得上的前提 [6][8][14] AI芯片产业发展 - 2025年AI行业正从训练时代转向应用推理时代,推理芯片的重要性提升 [13][14] - 预计到2030年,训练芯片市场规模约1万亿美元,而推理芯片市场规模可能接近4万亿美元 [14] - 未来需要更关注低成本、低功耗的推理芯片,以支持AI智能体广泛应用,建议启动全球处理芯片标准 [14]
【金牌纪要库】阿里千问3推理成本降至Deepseek R1的三分之一,并认为AI眼镜战略地位显著高于AI手机
财联社· 2025-11-19 17:38
AI模型与硬件发展 - 阿里千问3模型能力大幅提升且推理成本降至Deepseek R1的三分之一 [1] - AI眼镜战略地位被评估为显著高于AI手机 阿里AI眼镜硬件合作企业受关注 [1] AI芯片与存储需求 - AI应用和终端浪潮将驱动存储芯片和推理芯片需求爆发 [1] - 推理芯片可能成为未来产业瓶颈 相关厂商有望深度受益 [1] AI应用市场展望 - 预计到明年底全球超过60%的企业将在生产环境中实际调用生成式AI服务 [1] - 明年AI应用浪潮预计比今年更强劲 某垂直领域企业拥有业内领先大模型且落地广泛 [1]
OpenAI自研芯片内幕曝光!18个月前开始用AI优化芯片设计,比人类工程师更快
量子位· 2025-10-14 13:39
合作核心内容 - OpenAI与博通达成战略合作,共同部署由OpenAI设计的10GW规模的AI加速器 [5] - 博通将从2026年下半年开始部署配备AI加速器和网络系统的机架,并于2029年底前完成全部部署 [5] - OpenAI负责芯片与系统设计,博通负责合作开发与投入部署 [6] - 10GW电力规模相当于10000兆瓦,足以同时点亮约1亿个100瓦灯泡 [10][11] 合作战略意义 - 通过自研芯片实现垂直整合,将前沿模型开发经验直接嵌入硬件以解锁新能力与智能水平 [7][20][21] - 定制加速器旨在满足现有芯片无法覆盖的特定计算任务或工作负载 [20][21] - 合作凸显定制加速器重要性及以太网作为AI数据中心纵向与横向扩展网络核心技术的战略地位 [13] - 有助于OpenAI缓解算力紧张问题,其ChatGPT每周有近8亿活跃用户 [14][15] 自研芯片动因 - 对AI工作负载的深刻理解以及实现公司使命需要进行垂直整合 [18][22][23] - 在2017年发现规模扩展对AI系统的巨大作用,自研芯片是实现算力扩展的重要举措 [28][29][30] - 与外部芯片公司合作时,关于模型发展方向与形状的反馈未被采纳,缺乏话语权 [30][31] - 公司CEO转变观点,认为垂直整合是实现使命的必要途径,并以iPhone的成功为例 [22][23][24] 预期效益与技术应用 - 通过优化整个技术堆栈,预计能从每瓦特中榨取更多智能,实现巨大的效率提升 [31] - 效率提升将直接转化为更好的模型性能、更快的模型训练速度以及更低的模型成本 [31] - 已在利用AI模型优化芯片设计,其优化速度比人类工程师更快 [32][33] - AI模型提出的优化方案通常是人类专家清单上的项目,但能显著缩短实现时间 [34] 整体战略布局 - 公司采取“自研+合作”路线突破算力瓶颈,除博通外也与英伟达、AMD等厂商合作 [36][37][40][41] - 与英伟达的合作规模同样为10GW,预计使用数百万块GPU,并获得高达1000亿美元投资 [37][38] - 自研芯片布局已持续约18个月,并在o1模型开启推理浪潮后开始专门设计推理芯片 [18][43]
这是要吹爆AI泡沫么?
美股研究社· 2025-10-10 20:53
OpenAI的资本运作与合作协议 - OpenAI与AMD签订未来几年600-900亿美元的芯片采购协议 该订单规模相当于AMD年营收300亿美元的2-3倍 [9] - 根据协议 AMD股价上涨至特定水平后 OpenAI可以象征性一分钱获得AMD公司10%股权 潜在获利600-900亿美元 [10] - OpenAI承诺未来几年向甲骨文采购3000亿美元云算力服务 [9][11] 美股市场估值与泡沫迹象 - 标普500总市值从2025年8月1日56万亿美元增至10月9日60.5万亿美元 两个月内增长4.5万亿美元 [15][16] - 美股总市值达到67.3万亿美元历史新高 多项估值指标(总市值/M2 总市值/GDP)超越2000年科技泡沫和2021年疫情泡沫峰值 [19][20] - 美国前十大公司总市值接近25万亿美元 约占全球股市总市值25% 其中八家为科技相关企业 [23] AI行业资本循环与市值影响 - 英伟达宣布投资OpenAI 1000亿美元 OpenA用该资金向甲骨文采购算力 甲骨文再用资金购买英伟达芯片 形成资本内循环 [11] - 英伟达入股英特尔推动英特尔股价上涨50% [14] - OpenAI估值在短期内从1500亿美元飙升至5000亿美元 尽管其年营收仅120亿美元且利润为负值 [14]
股市开始泡沫了!
搜狐财经· 2025-10-09 22:04
OpenAI与AMD的协议 - OpenAI向AMD采购芯片,订单金额约为600-900亿美元[2] - 该订单规模巨大,相当于AMD年营收(不到300亿美元)的2-3倍,足以支撑其3年运营[3] - 根据协议,当AMD股价上涨到特定水平后,OpenAI可以以每股0.01美元的价格获得AMD公司10%的股权[4] - OpenAI通过此股权获得的股票价值预计约为600-900亿美元,与其采购金额基本相当[5] - 协议公布后,AMD股价在3天内从160美元飙升至235美元,涨幅高达46%[6] 协议模式与影响 - 该模式可类比为:一家公司向茅台采购3000亿元白酒,同时获得以象征性价格购买其15%股权的权利,而15%股权的价值也约为3000亿元[7][8] - OpenAI已与英伟达、甲骨文等多家大型科技公司签署类似协议,均带动了这些公司股价的显著上涨[10] - 通过此类协议,OpenAI实质上可能无需净支出现金,但能通过推动合作伙伴股价上涨来获取巨额股权收益[6][9] - 此类操作引发了对商业模式实质和金融工程复杂性的关注[9] OpenAI的财务状况与承诺 - OpenAI公司估值在一年内从1500亿美元急剧上升至5000亿美元[11] - 公司当前年收入约为100亿美元,且利润或现金流为负值[11] - 公司对外承诺的总订单金额已达到1.5万亿美元,远超其现有收入规模[11] - 1.5万亿美元这一数字超过了苹果、微软、亚马逊、META和谷歌这五大科技巨头过去五年自由现金流的总和(约1.4万亿美元)[11] AI行业估值与历史比较 - AMD当前的市盈率(PE)为135倍,显示估值高企[13] - 当前AI行业的泡沫规模可与2000年的互联网泡沫相提并论,AMD的各项估值指标已接近2000年泡沫顶峰时期的水平[13][17] - 在2000年互联网泡沫中,AMD股价从47美元的高点暴跌至3美元,跌幅达95%,直到2020年才重新回到47美元[14][16] - 尽管存在泡沫,但当前美股科技板块的整体泡沫程度可能尚未达到2000年的顶峰,或仅相当于1998年的水平[18] - 历史表明,即使是对最终成功改变世界的技术(如互联网),在泡沫顶峰时期投资也可能导致漫长的回本周期[17]