Post Training

搜索文档
重温《英伟达GTC 2025》:挖掘AI算力需求预期差?
2025-07-07 08:51
纪要涉及的行业和公司 - **行业**:美股算力领域、AI 产业、数据中心市场 - **公司**:英伟达、微软、谷歌、亚马逊、Oracle、Marvell、戴尔、台积电 纪要提到的核心观点和论据 1. **算力需求现状与变化** - 全球 AI 算力跟踪方式与以往不同,过去依赖产业链数据,如今需关注大模型和应用,美股算力领域上涨由推理和训练需求共振驱动 [2] - AI 计算需求和扩展速度超加速增长,因推理模型出现,计算量比一年前预期至少高出 100 倍 [2][16] 2. **GTC 大会影响** - 今年参会人数较去年增长 50%,AI 产业人士增加,对 AI 产业重要性提升,重温可挖掘信息差和预期差,是海外算力链上涨核心原因 [3] - 提出 agentic AI 概念,与传统 LLM 不同,强调任务分布执行和规划 [6] 3. **算力需求相关因素** - 算力需求空间与 TOKEN 量密切相关,海外算力公司涨幅不能仅用传统业绩解释,需分析 TOKEN 量对计算需求的影响 [1][4] - 未来海外算力链发展需关注大模型和应用、全球市场变化、GTC 大会信息差、TOKEN 量与计算需求关系 [5] 4. **AI 范式区别** - agentic AI 与 generative AI 是不同范式,前者侧重协作和目标驱动,后者是生成式 AI [7] - agent 是独立执行任务个体,agentic AI 是协作性目标驱动系统 [11] 5. **Skin law 曲线** - 现在有三条 skin law 曲线,分别对应预训练、后训练和测试时间,三个阶段都存在算力需求通胀 [1][8] 6. **后训练与测试时间** - 后训练通过强化学习等优化模型,不涉及卷模型参数;测试时间指推理市场,是结果导向型 [9] 7. **协作型 AI** - 涉及多步骤、多代理等协作过程,信息沟通依赖 TOKEN,全球 TOKEN 量爆发提升了算力需求 [2][12] 8. **数据问题解决** - 强化学习产生的 COT TOKEN 数据和合成数据可用于模型训练,不必担心数据不足 [13] 9. **互联网大厂策略** - 免费开放 AI 应用是为保持竞争力和获取 TOKEN 数据用于训练下一代模型 [14] 10. **推理模型** - reasoning model 与传统大语言模型不同,需详细列出思考过程,增加了算力和 TOKEN 需求,比 one shot 方式至少高出 100 倍 [18][19] 11. **后训练应用** - 后训练在强化学习中用大量 tokens 验证和调整模型,计算需求高,推理环节 token 消耗量远超 chatbot [20] 12. **Token 相关关系** - Agentic AI 与 token 消耗是指数关系,token 与计算量关系复杂,总算力需求等于 Token 数量乘以单 Token 算力成本 [21][22][23] - TOKEN 量增加与计算需求不是 1:1 关系,可能是 1:n,n 可能为 10 甚至更高 [25][26] 13. **海外 AI 应用** - 海外 AI 应用中 TOKEN 量爆发因 Deepseek 降低成本,推动应用快速增长 [27] 14. **单任务执行问题** - 可通过增加算力降低单任务执行等待时间,涉及延迟和吞吐量权衡 [28] 15. **不同 AI 模型差异** - Chatbot 与 Deep Research Agent、通用模型与测试模型在 TOKEN 消耗上存在显著差异 [30] 16. **云服务提供商需求** - 四大云服务提供商对 GPU 需求巨大,2024 年买 130 万张 Hopper 架构 GPU,2025 年已买 360 万张 Blackwell 芯片 GPU [31] 17. **数据中心市场** - 预计到 2028 年数据中心市场规模达 1 万亿美金以上,2025 年是需求增长拐点 [32] 18. **英伟达战略** - 加强与戴尔合作,向政企领域拓展,利用戴尔客户网络 [33] 19. **算力需求驱动因素** - 底层计算架构从 CPU 转换为 GPU,软件未来需资本投入,通过自身生成 TOKEN 交互协作,推动算力需求 [34] 20. **软件运行模式转变** - “软件加算力”替代“软件加能力”,软件运行将自动化,企业依赖计算资源而非人力 [37] 21. **算力需求阶段** - 当前处于算力需求拐点向上阶段,因计算架构转换和 AI 技术发展,算力需求爆发式增长 [38] 22. **推理图表数据** - 单个用户每秒钟处理 TOKEN 量与智能 AI 反应速度有关,吞吐量越大、系统响应越快,影响用户体验 [39] 23. **Token 资源分配** - AI 应用中 Token 是资源,用户单位时间获 Token 数量影响应用运行速度,吞吐量决定系统任务执行和用户数 [41] 24. **AI 工厂优化** - 可通过增加 HBM 存储容量、提高存储带宽、优化算法和架构优化 AI 工厂吞吐量,提升系统性能 [42] 25. **公司股价上涨** - 英伟达和台积电等公司股价创新高因 AI 算力需求大幅增长,公司创新技术满足需求 [43][44] 26. **资本市场逻辑** - 资本市场对 AI 算力需求变化基于新需求驱动,深入研究原因可准确预测未来发展方向 [45] 其他重要但可能被忽略的内容 - 微软 2025 年一季度总吞吐量达 100 万亿个 tokens,谷歌 4、5 月吞吐量为 480 万亿个 tokens,后训练一次至少需 100 万亿个 tokens [20] - 从 2025 年 2 月底出现拐点,Deepseek 于 2024 年 1 月底发布,推动海外 AI 应用发展 [27] - 英伟达股价从 2024 年 6 月到 2025 年 6 月横盘一年,2025 年 6 月底突破新高 [44]
我在 Character.ai 做 Post Training|42章经
42章经· 2024-11-24 22:09
CharacterAI的核心优势 - 全自研模型带来性能优势 可自由调整预训练语料比例以优化对话效果 [3] - 技术团队将推理成本压缩至同参数量模型的1% 支撑千万级免费用户 [3] - 用户偏好对齐高效 建立从数据反馈到模型迭代的闭环 [3] - 当前核心用户日均使用时长2小时 月活2000万(年增100%) 预计明年月活达3000万 [3] Post Training技术实践 - SFT阶段使用精挑细选的高质量人类对话数据 与预训练数据质量差异显著 [4] - RLHF通过奖励模型模拟教师批改 DPO直接利用用户偏好数据简化流程 [4] - 数据与产出形式需高度一致 如将万字同人文拆解为50段对话格式 [5] - 通过预生成回复/光标动画/双模型搭配将语音延迟从2秒压缩至0.5秒内 [5] 模型迭代方法论 - 建立高频测试机制 包括优化评估集/AB测试/数据回流/管线健壮性 [5] - 通过用户对话次数/时长/留存等数据评估迭代效果 关注细分用户变化 [5] - 涌现出"提问式回避"等行为特征 模型自主规避敏感话题延长对话轮次 [5] 行业发展趋势 - 多模型混用成为主流 如OpenAI不同任务采用差异化模型组合 [6] - 硅谷关注点转向推理优化 如entropix项目探索模型自信度调节机制 [6] - 产品端聚焦多模态变现 算法端追求o1式突破 期待Agent交互场景 [6] - 一级市场投资更趋务实 从技术叙事转向商业模式验证 [6] 人才与组织观察 - Post Training人才供需失衡 相关岗位面试强调实战解题思路 [6] - 初创公司普遍存在自驱型加班现象 工程师主动参与用户问题处理 [6] - 硅谷华人技术群体影响力提升 核心岗位占比显著增加 [6]