大模型推理部署
搜索文档
替人干活的Personal AI,把国产GPU的考题悄悄换了
创业邦· 2026-10-29 18:32
文章核心观点 - 硅谷科技巨头正将 Personal Agent 视为新一轮 AI 产品竞争的焦点,Anthropic 推出 Claude Duet、Meta 发布 Muse、OpenAI 与 Google 加快布局,AI 开始从单次推理转向连续数小时自主执行任务 [1] - Agent 任务复杂度与调用次数增加,推动算力需求持续增长,字节跳动、阿里巴巴和腾讯订购超过 300 万张英伟达 RTX PRO 5500 显卡,总价值超过 350 亿美元,但英伟达无法保证全部交付 [1] - 高端芯片供应受限为国产 GPU 厂商打开市场窗口,但客户采购标准已从峰值算力、显存容量和单卡性能排名转向系统级效率、模型快速迭代下的长期适配能力以及部署运维真实成本 [2] - 国产 GPU 的考题从单纯性能竞赛变为效率、成本与长期适配的综合考核,芯片性能之外的部署效率、长期运行成本和软件生态都将影响下一轮采购选择 [21] 市场格局与客户需求变化 - 2026 年上半年英伟达在中国数据中心 AI 芯片市场份额降至 34%,华为达到 28% [2] - 客户采购 GPU 的重点考察范围已转向系统级效率、长期适配能力以及部署和运维的真实成本 [2] - 推理场景平均算力利用率不足 20%,训练场景仅 40% 出头,行业算力投入持续增加但实际利用率远未跟上 [7] - 客户需要的算力可归纳为三个标准:高效率、可预期和可持续,即相同时间完成更多任务、系统性能稳定部署结果可预估、未来更换模型算法时原有设备仍能发挥作用 [8] - Personal Agent 兴起使模型需连续处理任务、频繁调用工具并同时服务大量用户,客户既希望提高 GPU 利用率也需控制长期运行成本 [3] 国产 GPU 迁移与适配门槛 - 中国石化胜利油田物探研究院迁移至国产平台需对原有程序架构、开发语言和接口进行改造 [3] - 部分科研算法的深度适配与优化需要几十名工程师参与,复杂项目团队规模甚至接近一两百人 [3] - 企业已投入多年开发软件时,即使国产 GPU 采购价格更有吸引力,也难以忽略重新适配付出的时间和人力成本 [3] - GPU 服务器通常使用多年而模型可能几个月内多次更新,客户换用新模型时仍可能需要重新适配和调优 [4] - 模型厂商不断优化计算方式,如 DeepSeek V4.1-Flash 将运行时所需高带宽显存缓存压缩至上一代四分之一、SSD 存储需求降至八分之一,GPU 厂商需跟进新模型架构才能发挥效率优势 [3] 天数智芯产品性能表现 - 10 月 28 日天数智芯新一代高端通用 GPU 天垓 300 首次对媒体开放实机演示,第三方权威机构针对四款主流模型、三类应用场景测试,典型 PD 分离部署下折算单卡端到端推理吞吐达到英伟达 H200 的 1.05 倍 [6] - 天垓 300 运行主流模型的首字延迟较 H200 降低约 10% 至 30% [6] - 基于 Qwen3-32B 模型的 8 卡整机测试,天垓 300 每卡有效吞吐达到 H100 的 1.33 倍 [6] - 两款 GPU 同时运行 100 个训练周期,天垓 300 率先完成任务,模型收敛曲线与 H100 基本一致 [6] 异构计算与超节点方案 - 天数智芯 AFD 异构计算方案让天垓 300 负责输入处理及生成阶段注意力计算,合作厂商 XPU 承担专家网络计算,测试结果将解码阶段推理延迟降低 60% [8] - IXL144 超节点将 144 颗 GPU 和 18 颗 CPU 集成在一个机柜内,聚合显存约 10.1TB,整柜互联单跳时延达到 100 纳秒级 [9] - 相比国际主流方案,IXL144 每百万有效 Token 成本可降低 40% [11] - 单天逸提出未来 AI 算力系统不一定由一种芯片包打天下,关键在于如何高效组织多种芯片让整个系统发挥更大价值 [21] 软件生态与 Agent 部署优化 - 天数智芯通过 Agent 将复杂模型部署任务组织成可重复执行流程,从环境准备到模型正常提供服务耗时由 1 小时缩短至 10 分钟,人工操作从数十步减少到一次目标输入 [12] - Agent 读取 GPU 运行轨迹和关键指标寻找拖慢模型运行的环节并调用工具调整验证,一项原本需要 7 天的调优工作压缩至 2 小时以内,特定工作负载整体性能提升接近一倍 [12] - 天数智芯尝试将 GPU 厂商积累的软件优化经验整理成 Agent 可调用的工具和操作规则,减少新客户部署模型时反复排查、重复开发的工作量 [12] 客户复购与长期适配能力 - 天数智芯第二代 GPU 虽已推出多年,客户仍可通过软件升级使用新发布模型,四五年前设计的国产 GPU 到 2026 年仍能继续运行最新大模型 [17] - 天数智芯已拥有 380 多家客户覆盖 30 多个行业,客户应用通常可在一小时内完成迁移,进一步性能优化需要一周至 15 天 [17] - 公司每半年对数十家客户进行回访,目前客户满意率超过 98%,客户完成首次部署后能否及时跟进主流模型更新已成为影响后续复购的重要因素 [17] 端侧算力与多元应用场景 - 单张天垓 300 实时计算机械臂运动与方块碰撞摩擦,256 个虚拟机械臂同时运行时单卡每秒完成超过 20 万次仿真状态推进 [13] - 彤央 TY1200 端侧算力终端在不调用云端资源情况下完成物理仿真、策略训练和动作验证,机器鸭最终成功站立 [13] - 彤央系列提供算力模组和一体化终端两种形态,具备硬件研发能力的企业可集成模组到机器人或专用设备,希望尽快投入使用的客户可选择集成 CPU、GPU 和存储的一体化终端 [18] - 河海大学金坛校区电池材料分析实验平台部署基于彤央 TY1200 的科研智能体,系统自动采集仪器数据完成清洗分析和报告生成,部分报告生成工作只需约两分钟 [18] - 一家中小规模博物馆白天利用 TY1200 提供智能导览,夜间使用同一台设备训练小模型提高设备利用率 [18] - 上海市阳光康复中心搭载彤央算力终端的 AI 导诊机器人已投入使用,为视障人士提供问询和引导服务 [19]