Workflow
PD分离技术
icon
搜索文档
1元/百万token,8.9ms生成速度,Aengt落地“成本账”与“速度账”都要算丨ToB产业观察
钛媒体APP· 2025-09-29 16:12
文章核心观点 - AI智能体商业化落地的核心要素是交互速度、token成本和模型能力,其中速度和成本是当前制约规模化应用的关键瓶颈 [3][7] - 浪潮信息通过其元脑系列AI服务器产品,在降低延迟和成本方面取得显著进展,旨在为智能体从AGI向ASI演进提供算力基础设施支持 [2][5][10] 速度对智能体商业化的影响 - 交互速度是智能体商业化应用落地的第一要义,直接决定其商业价值和用户体验,在高频的“智能体-智能体”协作中,延迟会导致决策失效或机会错失 [3] - 行业面临显著延迟挑战:IDC报告显示37%已部署GenAI的企业中,超60%反馈实时交互应用响应延迟超预期 [4] - 具体场景对延迟有严苛要求:金融场景如股票交易、风险监测需小于10ms,而当前多数AI Agent服务延迟在15ms以上;电商场景中2-3秒延迟可使转化率下降40% [4][5] - 智能体数量指数级增长后,模型叠加会造成延迟累积,最终可能导致应用延迟不可接受,低延迟是智能体商业化的前提 [5] - 浪潮信息元脑SD200超节点AI服务器将国内大模型token生成延迟从最低15ms降至8.9ms,创国内最快记录 [2][5] 成本对智能体规模化的制约 - Token成本是影响Agentic AI能否实现规模化落地的关键经济因素,高昂成本使企业无力承担智能体应用支出 [7] - Token消耗量急剧增长:AI辅助编程应用月消耗token数相比1年前平均增长约50倍,达1000万到5亿token;企业部署一个智能体平均token成本约1000-5000美元 [7] - 主流模型token成本差异显著:OpenAI GPT-5输出token成本为每百万10.00美元,而DeepSeek-V3输出每百万token成本仅为12元人民币,经济性更优 [8] - 浪潮信息元脑HC1000超扩展AI服务器通过技术创新,将每百万token成本从超过10元人民币降至仅1元人民币 [2] 算力基础设施的技术创新 - 降低延迟的技术路径在于优化底层算力系统架构和互联协议,避免通信过程中的瓶颈,如同拓宽高速公路的入口和出口至16车道以实现全程高速 [6] - 通过PD分离技术将Prefill和Decode阶段解耦,避免资源竞争,并进一步对Decode阶段进行模块化精细拆解,实现算效成倍提升和成本节省 [9] - 采用软硬结合的“解耦+适配”策略,元脑HC1000通过16卡计算模组等设计,实现推理性能相比传统RoCE提升1.75倍,单卡模型算力利用率最高提升5.7倍 [10] - 计算架构的持续革新是推动AI从AGI向ASI演进的核心引擎 [10]