纪要涉及的行业 AI算力行业 纪要提到的核心观点和论据 1. 算力需求增长逻辑 - AI应用渗透推动推理需求：AI应用逐渐渗透到生活和工作各环节，改变使用习惯，使算力推理需求快速增长，微软、谷歌等大厂推理需求占比可能达60%-70%，主要源于老应用改造而非开发全新APP [1][2] - 细分领域仍有增长潜力：训练环节市场预期悲观，但实际可能更好，预训练边际效应减缓，后训练增速不明显，但细分领域如AI Agent有增长潜力 [1][4] 2. 市场预期情况 - 算力产业链与AI应用分化：从2024年5月开始，除ASIC外，算力产业链边际走弱，英伟达股价未创新高，市场对整体算力需求预期悲观；而AI应用领域表现强劲，如Palantir股价创新高，市场对AI应用预期较高 [1][5] 3. 解决算力需求问题方向 - 训练与推理两手抓：解决算力需求青黄不接问题需关注训练和推理两方面，训练算力需求短期难提升，推理依赖Agent发展，Agent在特定场景已有所起色 [1][7] 4. 2025年算力需求来源 - 老应用改造、新衍生应用与Post Training：2025年算力需求主要来自老应用改造（如推荐引擎在海外大厂的应用）、新衍生应用（如Agent）以及Post Training阶段，Agent面向ToB/ToD场景，特定领域需求显现 [1][12] 5. Chatbot与Agent对比 - 应用场景与爆款潜力不同：Chatbot面向ToC市场，易形成爆款；Agent面向ToB和ToD场景，不易成为爆款，其算力需求难被资本市场迅速感知 [13] - 任务复杂度与交互方式差异大：Chatbot单次交互量约1000个TOKEN，一对一、一问一答式交互；Agent完成单个任务所需TOKEN量达几万甚至十万个，多任务、多Agent协作执行，消耗数据量和TOKEN数量远高于Chatbot [25] - 存储和算力需求有别：Chatbot对存储和内存要求低；Agent执行任务各步骤需连贯操作，对存储和内存要求高，对计算能力和存储都有较高需求 [27][28] 6. 算力需求计算与评估 - 训练与推理算力需求公式：训练算力需求预期约为6ND，推理算力需求预期约为2ND，N代表模型参数量，D代表数据集 [16] - 评估服务器或GPU卡数量：通过总需求除以单个GPU卡的算力估算所需设备数量，同时考虑设备实际利用率 [34] 7. 模型选择与优化 - 优先选择小模型：选择模型参数时优先考虑小模型，大厂做推理应用倾向先上小模型，降低成本，提高可接受性 [31] - 优化模型访问和推理方法：使用低精度计算、模型蒸馏，结合硬件优化如KV缓存优化，可降低内存消耗，提高整体效率 [35] 其他重要但是可能被忽略的内容 1. 后训练情况：后训练自2024年9月推出，对市场影响不明显，从事厂商数量有限，数据难跟踪，在模型参数量上维持在几万亿量级，虽算力需求预期不明显，但能提升推理能力，如DeepSeek R1体现后训练扩展法则 [8][9][19] 2. AI Agent产品表现：一些AI Agent产品如Mariner在美国市场表现良好，融资和用户增长迅速，在海外人力成本高的地区受众广泛，但在中国市场难推广 [2] 3. 大型科技公司资本开支：微软和Meta本季度未削减资本开支，对未来算力需求持坚定态度，若后续应用进展顺利，算力规划短期内不会下降 [40] 4. 过去一季度AI应用发展：过去一个季度多个AI应用发展迅速，如Mariner 3月月活访问量达2310万，Cursor有2000多万，微软3月产生50万亿个TOKEN，占季度总量一半 [38]