项目中标与核心定位 - 云天励飞于3月12日中标湛江市AI渗透支撑新质生产力基础设施建设项目,中标金额4.2亿元[3] - 项目将基于公司自研的国产AI推理加速卡,建设国产AI推理千卡集群,旨在打造“国模国芯”的AI生态样板[3] - 该集群定位为专注推理任务的AI推理集群,区别于国内普遍采用的“训推一体”模式,主要面向各类行业应用场景,为传统产业AI化提供直接支撑[4] 技术架构与系统设计 - 集群采用“Prefill–Decode分离”的推理架构,以同时满足高并发、高吞吐与低延迟的要求[6] - 系统确立了“优先优化Prefill、兼顾Decode”的技术路线,通过在芯片设计中针对性配置计算资源与存储带宽,以在长上下文推理场景下保持高吞吐效率[7] - 网络互联采用统一高速互联架构,通过400G光网络构建集群物理层网络,实现节点间高带宽、低延迟通信,减少了协议转换开销[7] - 架构支持从单节点数十卡到千卡级集群规模的平滑扩展,以适配不同规模的AI应用需求[7] - 针对大模型推理中KV Cache访问带来的压力,系统在计算互联与存储互联层面进行了协同优化,通过联合调度提升数据读取效率[7] 自研芯片与产品路线 - 集群将全部采用云天励飞自研的国产AI推理加速卡,分三期建设[10] - 一期项目将部署X6000推理加速卡,二、三期将率先搭载公司最新一代芯片产品[10] - 公司未来三年规划推出三代AI推理芯片产品:第一阶段推出面向长上下文优化的Prefill芯片;第二阶段研发专注于Decode阶段低延迟优化的芯片;第三阶段通过系统级协同优化,实现Prefill与Decode性能整体提升,向毫秒级推理时延迈进[11] - 首款Prefill芯片DeepVerse100预计将在年内完成流片,并计划在湛江集群中率先部署[12] - 公司提出“1001计划”长期目标,即以“百亿Token一分钱”为目标,通过芯片与系统协同优化持续降低大模型推理成本[12] 行业趋势与战略意义 - 随着大模型进入应用阶段,产业关注点正从“算力峰值”转向“单位成本效率”,AI基础设施的发展逻辑从单纯追求算力规模转向更加注重效率与成本[12][13] - 推理算力被视为决定AI应用规模化落地的关键基础设施,谁能以更高效率、更低成本提供稳定的大规模推理能力,谁就有机会在产业竞争中占据先机[14] - 千卡级推理集群不仅满足当前需求,也为更大规模算力系统提供了技术部署平台,可验证卡间互联、节点通信等关键技术,为未来建设积累经验[12] - 项目与国产大模型DeepSeek深度适配,湛江已完成DeepSeek-R1大模型的本地政务云上线,该模型能持续学习本地产业知识与方言表达,形成地方特色[4] - 项目的落地为国产模型与国产芯片的协同发展提供了实践场景,推动AI基础设施从技术探索走向规模化应用[14]
国内首个国产AI推理千卡集群落地,采用云天励飞全自研AI推理芯片