AI推理市场爆发式增长 - AI推理芯片市场规模2023年为158亿美元，预计2030年将达到906亿美元[7] - 推理成本在18个月内从每百万token 20美元降至0.07美元，下降280倍[7] - 企业AI硬件成本每年下降30%，能源效率每年提高40%[7] - 英伟达数据中心40%收入来自推理业务[7] 训练与推理的商业价值差异 - 训练阶段是高成本、高风险、长周期的"资本赌局"[6] - 推理阶段是持续创造价值的"现金印钞机"[6] - 生成式AI时代基础模型训练趋向稳定，推理成为主要价值创造环节[6] - 推理需求与商业收入形成良性循环，推动技术迭代升级[7] 科技巨头在推理市场的布局 - AWS向客户推销自研推理芯片Trainium，并提供25%折扣[12] - OpenAI通过租用谷歌TPU降低推理成本和对英伟达依赖[13] - 亚马逊向Anthropic投资40亿美元，后者使用AWS推理芯片[12] - 科技巨头平均利润率普遍突破50%，英伟达GB200利润率达77.6%[10] 初创公司的差异化竞争策略 - Rivos正在寻求4-5亿美元融资，累计融资将超8.7亿美元[4] - 25家AI芯片初创公司共融资超70亿美元，总估值290亿美元[17] - Groq累计融资超10亿美元，与沙特达成15亿美元芯片协议[17] - 初创公司聚焦ASIC芯片研发，在特定推理任务中具有性能优势[16] 技术架构与市场格局变化 - Transformer架构使基础模型训练趋向稳定[6] - MOE架构只需局部训练新信息，推动推理市场爆发[7] - 边缘侧小型分散推理需求正在爆发[18] - 推理对CUDA生态依赖较小，可使用多样化硬件平台[11]