Token as a Service
搜索文档
从拼模型到算成本,曦望用S3 GPU给出最佳答案
半导体芯闻· 2026-01-29 18:10
AI产业重心从训练转向推理 - AI产业重心正从模型训练转向推理,推理请求正成为持续消耗算力的主要负载[1] - 根据德勤报告,到2026年推理算力占比将达到66%,超过训练算力[2] - 大模型产业已迈入下半场,2025年推理Token消耗量实现百倍增长,推理算力正式超越训练算力,成为算力产业发展的核心驱动力[3] 曦望科技的战略定位与行业洞察 - 公司是国内第一家All in推理的GPU芯片公司,使命是把大模型推理做到极致[2] - 行业正发生三大根本性改变:需求端结构性转变(推理成为主力)、应用场景质变(高频实时交互)、成本结构倒逼(推理成本占AI应用成本高达70%)[2] - 公司选择反向创新道路,将单位Token的成本、能耗及SLA服务稳定性作为芯片设计的核心出发点,目标是实现推理成本90%的降幅[2] - 推理GPU的竞争关键在于能否将硬件能力稳定转化为可交付、可计价的推理算力[7] 启望S3芯片的核心技术创新 - 芯片支持FP16、FP8、FP6、FP4等全系列低精度算力,单芯片推理性能较行业同类产品提升五倍[6] - 芯片是国内首款搭载LPDDR6的GPGPU推理专用芯片,采用大容量DDR替代HBM[4][6] - 芯片采用先进工艺节点并搭载最新高速接口IP[6] - 公司较早提出以大容量DDR替代HBM、以高性价比推理专用芯片替代训推一体芯片的战略[4] 寰望SC3超节点解决方案 - 方案对标千亿、万亿参数多模态MoE模型的实际部署需求,支持单域256卡一级互联[6] - 方案可高效适配PD分离架构与大EP规模化部署,提升系统利用率与运行稳定性,匹配长上下文、高并发等复杂场景[6] - 方案采用全液冷设计,可实现极致PUE,支持模块化交付与快速部署[6] - 在同等推理算力水平下,该方案可将整体系统交付成本从行业普遍的亿元级降至千万元级,实现成本一个数量级的下降[6] 软件与生态兼容性 - 公司打造全栈自研软件平台,全面对齐并兼容CUDA生态,支持用户代码无缝迁移[7] - 通过对CUDA底层驱动、Runtime、编译器、工具链的全面兼容,结合极致优化的算子库与通信库,提供GPU应用的快速迁移服务[7] - 启望S3已完成对ModelScope平台90%以上大模型的适配,涵盖商汤日日新、DeepSeek、通义千问、GLM等主流模型,累计适配国内外百余种大模型[7] AI原生智算平台与商业模式 - 公司推出新一代AI原生智算平台,核心优势为软硬件深度协同、资源极致弹性、开箱即用及稳定可靠的运维保障[11] - 平台采用先进的量化压缩技术,在几乎不损失精度的前提下将推理性能提升250%[12] - 平台通过GPU池化技术、动态扩缩容技术、智能负载预测技术实现算力高效利用[12][13] - 公司打造MaaS平台,支持模型一键调用和定制化优化,解决模型适配难题[13] - 平台实现全链路智能化管理,千卡集群可用性达99.95%,可连续运行60天无计划外中断,故障处理实现“1分钟发现、3分钟定位、5分钟恢复”[13] - 公司构建绿色算力优势,涵盖高能效比芯片设计、锁定长期廉价核电资源、精细化运营三个维度[14] - 商业模式是芯片硬实力加云基建软实力的Token as a Service模式,可提供公共、定制化、混合Token服务[14] 产业合作与生态建设 - 商汤科技董事长徐立指出,推理成本过去两年下降280倍,是推动AI产业爆发的关键转折点,芯片与模型的深度协同是降本核心[15] - 徐立认为曦望通过架构优化和推理任务专注,已实现视频实时生成,性价比优势持续凸显[15] - 第四范式创始人戴文渊透露,在中交蓝翼大模型适配项目中,曦望算力成本低至每百万Token 0.57元[15] - 公司与商汤科技、第四范式深度合作,共同向“百万Token一分钱”的算力成本目标迈进[16] - 公司与杭钢数字科技、浙江算力科技等本土算力平台合作,完善全国算力网络布局[16] - 公司与三一、协鑫、游族等十余家跨领域生态伙伴签约,推动推理算力嵌入智能制造、能源服务、C端消费、机器人等多元产业场景[16] - 公司与浙江大学签约成立“浙江大学曦望智能计算联合研发中心”,聚焦光互联GPU超节点架构、半导体虚拟制造等领域开展联合攻关[17] 未来展望与产业影响 - 在推理时代,算力竞争核心已从“拼峰值”转向“算单位成本”[18] - 公司正通过芯片架构重构、系统级优化和生态协同,将“百万Token一分钱”从愿景变为现实[18] - 随着S3芯片在2026年底量产,S4、S5陆续推进,中国AI产业的成本曲线正在被重写[18] - 当推理算力变得便宜、稳定、到处可用,AI才能真正成为普惠的基础设施,推动千行百业的智能化转型[18]