AI训练

搜索文档
速递|从训练到推理:AI芯片市场格局大洗牌,Nvidia的统治或有巨大不确定性
Z Finance· 2025-03-14 19:39
图片来源: Unsplash Nvidia 在 AI 芯片领域的霸主地位正面临挑战,初创公司 DeepSeek 等竞争对手,正抓住 AI 计算需求 变化,试图打破其统治。 从训练到推理,AI芯片市场格局的转变 DeepSeek 的 R1 和其他推理模型,如 OpenAI 的 o3 和 Anthropic 的 Claude 3.7 ,在用户发出请求时 消耗的计算资源比之前的 AI 系统更多。 这改变了 AI 计算需求的重点,直到最近,这一需求还主要集中在模型的训练或创建上。随着个人和 企业,对超越目前聊天机器人(如 ChatGPT 或 xAI 的 Grok )应用的需求增长, 推理预计将在技术 需求中占据更大比重。 Nvidia 的竞争对手,从 Cerebras 和 Groq 等 AI 芯片制造商初创公司,到谷歌、亚马逊、微软和 Meta 等大型科技公司,定制加速处理器——正集中力量,试图颠覆这家全球最有价值的半导体公司。 "训练让 AI 成长,而推理则是 AI 的应用。" Cerebras 的CEO Andrew Feldman 表示," AI 的使用量 已经大幅飙升,目前打造一款在推理方面远胜于训练的芯片, ...
Meta自研训练芯片要来了,集成RISC-V内核
半导体行业观察· 2025-03-12 09:17
由于该处理器专为 AI 训练而设计(这意味着要处理大量数据),因此预计该处理器将配备 HBM3 或 HBM3E 内存。考虑到我们正在处理定制处理器,Meta 定义了其支持的数据格式和指令,以优化 芯片尺寸、功耗和性能。至于性能,该加速器必须提供与 Nvidia 最新的 AI GPU(例如 H200、 B200 以及可能的下一代B300)相媲美的每瓦性能特性。 该芯片是 Meta 的 Meta 训练和推理加速器 (MTIA) 项目的最新成员。该项目曾面临各种挫折,包括 在类似阶段停止开发。 例如,在有限的部署测试中,Meta 内部推理处理器未能达到性能和功率目标,因此停产。这一失败 导致 Meta 在 2022 年改变了战略,大量订购 Nvidia GPU,以满足其即时的 AI 处理需求。 如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自tomshardware ,谢谢。 几年前,Meta 是首批为 AI 推理打造基于 RISC-V 的芯片的公司之一,旨在降低成本并减少对 Nvidia 的依赖。据路透社报道,该公司更进一步设计了(可能是在博通的帮助下)用于 AI 训练的 内部加速器。如果该芯片能够满 ...