AI Infra 行业定义与架构 - AI Infra 包括硬件和软件两部分 硬件指 AI 芯片 GPU 交换机等设备 软件可分为三层 最底层类似 IaaS 解决基础计算 通信和存储问题 中间层类似 PaaS 包含资源调度 资源管理等平台 MaaS 归属这一层 最上层近似 SaaS 应用层 但在 AI Infra 领域更倾向于理解为训练及推理框架的优化层 [2][3][4][5] AI Infra 发展历程与人才 - 第一批 AI Infra 人是有算法背景的人 如贾扬清 李沐 陈天奇 他们为充分利用 GPU 而做 AI Infra 第二批人更多是上规模 让 AI Infra 在工业界得到应用 [6][7] - 大模型兴起对 Infra 从业者是特别好的机会 AI Infra 进入主舞台 类似搜索引擎兴起时的 Google 需要世界一流 Infra 处理规模空前的互联网数据 大模型对算力和数据提出前所未有的要求 这样的窗口可能十年 二十年才会出现一次 [8][9][10][11][12] - AI Infra 和移动互联网 Infra 底层目标一致 都要高效稳定整合计算 通信和存储资源 但实操层面对硬件 网络互联 存储方式要求完全不同 AI Infra 绝对核心是 GPU 传统 Infra 核心是 CPU AI Infra 更极致 更贴合 AI 特殊需求 [13][14][15] - 未来做 AI Infra 的人 既有新成长起来的工程师 也有传统 Infra 人转型而来 Infra 更强调积累 与算法不同 算法非常依赖年轻人 有做算法的朋友说过算法人只有两年保质期 两年后陷入思维定势 跟不上新东西 [16][17][18] AI Infra 核心指标与价值 - 线上服务侧关注模型响应首字延迟 吐字稳定顺畅 整体成本降低 训练侧关注每张 GPU 处理的数据量和训练效率 [19] - 所有产品都依赖 Infra 区别在于是否投入成本做自己的 Infra 以及投入是否值得 假设有 1 万张 GPU 每月租金 1 亿 雇 Infra 工程师把 GPU 利用率提升 10% 每月能节省 1000 万 或多赚 1000 万 优化 Infra 后省下的钱可轻松 cover 人力成本 投入 Infra 可帮公司挣钱 确定性很高 [20][21][22][23] - 较小公司可用同样逻辑计算 值不值得雇 10 人优化性能 对比云厂商标准化方案成本 如果自己做不到更低成本 用 MaaS 或公有云服务更划算 服务商价值锚点是帮助规模较小公司节省 Infra 优化成本 [24][25] 第三方 AI Infra 公司机会与挑战 - 短期第三方价值是为客户提供 API 集贸市场 自由选择不同 API 因为模型厂商 Infra 主要服务自家模型或 API 公有云也提供类似服务 但仍有第三方空间 长远如果第三方没有独特价值 易被云厂商或模型公司吃掉 [26][27] - AI Infra 底层是硬件 上层是模型 当硬件和模型都逐渐开放和普及时 只做中间 Infra 层价值有限 且非常卷 难拉开技术差距 难形成长期壁垒 今天领先一点 几个月后可能被赶上 第三方想做出壁垒 需和硬件或模型做垂直整合 [28][29] - 以 MaaS 生意为例 MaaS 可看作 API 分发平台 真正能留住用户的是别人没有的东西 如与特定硬件厂商深度合作 以更低成本获得算力资源 有对硬件独到见解 这些是差异化优势 建议不要做夹在模型和硬件中间的人 可选择站在模型侧或硬件端 [30][31][32][33] - 当前是硬件和模型都在追求极致的时刻 需要既懂硬件又懂模型 这种两头通能力是 Infra 人特长 往上和模型做深度整合 或往下与硬件做 co-design 就有很多机会 如果固步自封 只在中间做优化 就把路走窄 [34][35] - 关键必须是主动参与者 而不是被动搭便车的人 如果比硬件厂商更懂模型 可影响硬件设计方向 如果比模型团队更懂硬件 可反向影响模型架构设计 具备这种影响力 成功是共赢 失败也是主动做出的判断和选择 [36][37][38] Infra 对模型效果影响与性能指标 - Infra 水平会影响模型效果 Infra 对大模型公司非常重要 各家公司参与同一场比赛 给定算力 怎么训出最好模型 假设都拿 5000 张卡 其他条件相同 如果 Infra 优化更好 效率高出 20% 同样时间能多学 20% 数据 训练出的模型效果更好 [40][41][42] - Infra 有标准化性能指标 如 MFU 衡量硬件利用率 分子是实际完成的浮点运算次数 分母是理论最大算力 MFU 越高 硬件用得越充分 但衡量 Infra 性能很复杂 仅靠单一指标难判断优劣 Infra 性能和硬件 模型 优化目标都密切相关 [43][45] - DeepSeek 能冲出来 一大原因是选对了优化目标 当时优化目标是给定推理成本 怎么训出最好模型 而其他所有人目标是给定训练算力 怎么训出最好模型 2024 年 9 月 o1 发布后 让大家看到推理阶段让模型多思考一会 最终输出效果更好 这种训练方式符合强化学习机制 DeepSeek 优化目标更符合强化学习需求 能以更低推理成本 更快速度输出结果和训练模型 率先完成 R1 甩开其他团队 [46][47][48][49][50] - Infra 有各种性能指标 但想取得好结果 最重要的是想清楚哪一个指标优先级最高 指标要符合产品需求 也要顺应行业发展方向和未来技术趋势 不同团队技术水平有高低 但真正拉开差距的是有没有选对努力方向 [51][52] - 从 o1 R1 验证强化学习路径后 当前最重要指标是 decoding 速度 推理分输入和输出两部分 输入关键指标是模型处理长文本速度 输出关键指标是模型吐字速度 后者最重要 决定线上业务成本 也直接决定强化学习效率 如果输出很慢 获得 reward 速度就比其他模型慢 但现在还有人很看重 MFU 等老指标 特别关注这类指标的人对当下技术认知有问题 [54][55] Infra 与算法团队协作与组织架构 - 最理想合作方式是大家像一个团队 为共同目标协作 很多事情有 trade-off 如损伤系统性能换算法提升 或反过来 最好两边一起讨论该谁让步 这是小团队优势 在大厂很难实现 [56][57][58] - 在大厂 Infra 总被视为支持性角色 算法人给 Infra 人提需求 Infra 人没有反向影响力 在很多人眼里 Infra 核心是降本 但降本通常不是最优先目标 需要纠正观念 Infra 实际上可对模型效果有正向影响 不仅仅是降本 [59][60][61] - 很多问题到最后是组织架构问题 模型由算法 Infra 和数据铁三角决定 三者缺一不可 必须协同 但很多人对模型理解存在偏差 模型算法效果往往取决于数据 而不是算法 模型效率成本主要由 Infra 决定 也不是算法 [62][63] - 比较合理组织架构是让 Infra 人设计模型结构 因为 Infra 人最知道怎么提高效率 节省成本 让数据的人负责刷模型点数和 benchmark 分数 因为他们最懂怎么喂模型 而算法人应该主要负责训练范式革新 但现在很多团队中 基本都是算法人在设计模型结构 刷模型点数 算法人不一定最适合做这些事 [64][65] 行业踩坑案例与经验 - 阶跃一开始对自己算力和能力过于自信 干了一个比 Llama 还大的模型 虽然训出来 但这个巨大模型有问题 过程中犯了一些错误 赌的事情可能会错 踩坑后再爬起来往前走 [66][67] - 最近有家公司开源模型 声称参数量不大 但算法做得好 效果可越级媲美更大模型 但模型因为架构设计问题 实际运行效率非常低 还不如大模型快 反映很多做算法的人并不真正懂硬件 也不了解模型在 Infra 层怎么运行 [68][69][70] - 算法人员做模型架构研究时 可能画图横轴模型尺寸或激活量 纵轴算法效果指标 试图找到 sweet point 让模型尺寸不大情况下算法效果不错 然后丢给 Infra 人优化 即便 Infra 人满足需求 模型实际运行也会出问题 如果真要画图 横轴应该是模型实际运行成本或运行效率 纵轴是模型效果 跑大量实验 找到真正可落地最优点 这件事只有在拉通所有团队后才可能完成 [71][72][73] 模型发展前景与多模态 - 模型范式革新不会那么快 但多模态还是有突破可能性 尤其是多模态生成和理解统一 现在多模态状态像 20 年 bert 模型 具备理解能力 但还没真正做通理解和生成 做通标志是同一个模型在理解任务上超越专门做理解模型 在生成任务上击败专门做生成模型 像 GPT-3.5 出来让很多做翻译等专用模型退休 [75][76][77] - Google Veo 3 效果很不错 但偏上一代模型 核心是做生成 工程做得比较好 把配乐等功能很好融合起来 技术突破和产品效果不是线性相关 Veo 3 把上一代技术发挥到非常强水平 但本身没带来太多范式上创新 [78][79][80] 初创或第三方 AI Infra 公司机会 - 训练侧商业模式不太成立 因为训模型的人非常懂行 难挣到这些人钱 他们也不愿把训练过程中研发细节交给第三方 否则泄露核心竞争力 排除训练后 推理侧还有一些机会 如推理加速 推理优化 [81][82] - 开源模型对 AI Infra 发展有促进作用 开源模型火起来 大家研究怎么把它跑得更好 促进 AI Infra 进步 但所有事情都有两面性 如果某个开源模型太火 大家花很多精力优化它 可能反而影响创新 如 DeepSeek 出来前 很多人优化 Llama DeepSeek 新范式一出 之前在 Llama 上很多积累就废掉 [83][84] 国产芯片与开源策略 - 现在 Infra 基本围绕英伟达卡做优化 虽然有团队尝试用国产芯片替代英伟达 但很多时候国产卡不是跑不动 而是性价比不如英伟达 当 DeepSeek 这样好用开源模型出现后 做一体机公司发现用英伟达卡跑 DeepSeek 比用国产卡更有性价比 更愿选择英伟达卡 [85][86] - 希望国产卡在技术层面具备竞争力 根据国产卡特性专门设计模型结构 让它在国产卡上高效运行 达到 SOTA 水平 阶跃开源 Step 3 是国内首个支持第三方商用 数百 B 规模视觉推理模型 能跑出 SOTA 水平 [87] - 视觉推理是模型根据图片 视频抽帧等视觉信息 直接完成推理任务 如让机器人去柜子拿东西 目标物品被杂物遮挡 机器人要进行视觉推理 进行任务拆解和决策 对于机器人或手机 汽车等智能设备 天然有视觉模态 根据周边环境 看到的东西决定怎么完成复杂任务 是典型视觉推理模型做的事情 视觉推理模型更常见应用场景是拍照解题 [88][89][90][91] - 之前有模型可做到拍照解题 但是把图片转成文字 再做文字推理 这种方式不是真正视觉推理 现在不需要中间转文字过程 让模型直接看图推理 如让机器人拿东西 目标物品周围有很多遮挡 难用文字描述清楚物理世界中位置关系 会丢掉很多信息 但模型直接看图 能直观知道该先拿开这个东西 再拿开那个东西 最后拿到目标物品 [92][93][94][95] - 选择开源是希望全国上下产业都获益 给所有国产芯片免费商用授权 开放模型权重 尽量帮他们做好模型适配 把 Step 3 在国产卡上推理成本压到很低水平 提高国产卡在性价比上竞争力 通过开源帮助国产芯片构建商业竞争力 也希望他们能推广模型 最后实现共赢 [96][97][98] 多模态成本与 Infra 人价值 - 多模态理解现在不算贵 但生成还是挺贵 尤其是视频生成 对成本降低蛮乐观 一年后应该能下降很多 能不能到十分之一不好说 但几分之一没问题 [99][100][101] - 在大模型时代 Infra 人容易被低估情况好很多 Infra 已是模型能力核心组成部分之一 DeepSeek 做得好是因为梁文锋是 Infra 人 梁文锋做量化出身 量化强调低延迟 需要对 Infra 有研究 在算法 数据和 Infra 之间 最擅长 Infra 这在业界是共识 DeepSeek 的 Infra 工程师数量比算法工程师多 但在很多大公司里 情况反过来 这可能是在过去一段时间里 一些大厂比较挣扎的原因之一 [102][103][104][105][106] - 在大模型快速发展阶段 需要有大量 Infra 人 把硬件设计和模型优化做到极致 并且做好垂直整合 但在大厂里 人才结构错配 不符合做好 AI 本质需求 [107] 给 AI Infra 从业者建议 - 建议靠近模型 或者靠近硬件 希望打心底对 Infra 感兴趣 有足够主观能动性去做各种各样 co-design [108][109] - Richard Sutton 的《The Bitter Lesson》核心观点是从长期来看 胜出永远是那些能最大程度利用计算资源方法 短期内各种奇技淫巧可能有效 但不能本质解决问题 虽然文章从算法视角写 但对 Infra 人同样有重大指导意义 因为最根本任务是设计出能发挥硬件全部性能模型和系统软件 让模型能充分利用这些资源 最希望是有朝一日 还能反过来影响硬件 换取摩尔定律不断延续 [109][110][111]