报告核心观点 - 大模型产业已从“模型创新”迈入“规模落地”关键期，推理优化与高效部署成为核心竞争力 [1] - 市场呈现高速增长态势，多元部署形态与全栈优化技术协同推动行业发展 [1] - 产业同时面临成本、标准等多重挑战 [1] 一、大模型推理趋势洞察 (一) 趋势洞察 - 人工智能大模型产业重心从“百模大战”驱动的预训练规模竞赛，转向模型对齐、推理能力增强与服务效能优化阶段 [24] - 算力投入重点由训练侧向推理侧延伸，推理服务的高效化、轻量化与智能化成为算力资源配置的核心方向 [24] - 自2025年2月DeepSeek系列开源大模型获得广泛关注以来，模型使用与推理成本呈现显著结构性下降趋势，形成“成本下行、算力上行”的发展态势 [29] - 技术发展从“追求模型规模”转向“提升推理效率”，服务模式从“通用型解决方案”转向“定制化场景适配” [31] (二) 市场分析 1 全球市场 - 全球AI推理算力市场在2021至2024年间增长近十倍，从14.04亿美元迅速扩张至139.58亿美元 [36] - 2024年市场增长率回升至31.5%，标志着全球AI算力市场正式从训练驱动阶段迈入推理驱动的新发展周期 [36] - 2025年全球AI推理算力市场规模预计增至183.55亿美元 [1] - 2025年全球范围内通过API调用大模型推理服务的企业比例已超过75%，基于Token的计费模式成为市场主流 [39] - 亚马逊、谷歌、微软三大云厂商构建的“模型市场”生态已占据全球市场份额的65%以上 [39] 2 中国市场 - 中国AI推理算力市场规模从2021年的56.5亿元迅猛扩张至2025年的438.3亿元，年均复合增长率达到66.3% [1][43] - 2024年市场增长率大幅攀升至150.10%，标志着中国市场已率先进入高速增长新阶段 [43] - 中国AI服务器推理工作负载占比预计将从2023年的41.3%持续攀升，2026年将达到70.5% [1][47] - 2025年上半年中国推理算力市场份额分布为：天翼云21.4%、阿里云20.1%、华为云11.2%，其他厂商占47.3% [52] 二、大模型推理部署主流方式 - 形成四大主流部署方式：模型即服务（MaaS）、大模型推理一体机、私有化部署平台、云-边-端协同推理 [2] - 2023年至2027年间，大模型推理平台的部署结构将发生显著变化：公有云部署预计从49%增至58%，私有云部署从16%上升至26%，本地一体机部署将从19%降至8%，边缘服务器从12%降至5% [58] - 混合架构正成为主流选择，企业更倾向于根据业务特性在云边端之间灵活配置资源 [58] (一) 模型即服务（MaaS） - MaaS凭借弹性计费与低门槛优势，成为中小企业首选 [2] - 全球企业在基础模型API上的支出呈现爆发式增长，从2023年的50万美元迅速攀升至2025年的1330万美元，年均复合增长率超过400% [62] - 企业级Token API市场份额从2023年OpenAI占据主导，发展到2025年Anthropic、Google、Meta等厂商市场份额显著提升的均衡态势 [66] (二) 大模型推理一体机 - 大模型推理一体机以软硬一体化、开箱即用特性，受央国企及政务单位青睐 [2] - 2025年预计出货量超10万台 [2] (三) 私有化大模型推理部署平台 - 私有化部署平台满足金融、医疗等行业数据安全与定制化需求 [2] - 81%的企业选择云原生形式进行部署 [2] (四) 云-边-端协同推理 - 云-边-端协同推理通过分布式架构，适配工业质检、智能交通等实时性需求场景 [2] 三、大模型推理优化技术原理 - 全栈优化技术成为核心支撑，多维度突破性能瓶颈 [2] (一) 硬件适配 - 硬件适配层面，GPU、NPU、ASIC三类芯片并行发展，通过深度优化充分释放算力 [2] - 国产算力生态快速成熟，华为昇腾、寒武纪等国产芯片在推理场景中的性能表现持续提升 [49] (二) 推理引擎 - 推理引擎依托PagedAttention、动态批处理等技术，将GPU利用率提升至60%-80% [2] (三) 模型层 - 模型层通过量化、知识蒸馏、混合专家（MoE）架构等轻量化技术，在保障精度前提下降低60%-70%显存占用 [2] (四) 并行计算 - 并行计算技术通过张量、流水线、数据并行等策略，支撑千亿参数模型分布式部署 [2] - P/D分离架构可使吞吐量提升30%-50% [2] 五、大模型推理优化与部署实践行业案例 (一) 金融领域 - 中信证券通过推理加速引擎实现财富管理智能化，累计处理服务请求超2亿次 [3] (二) 科研领域 - 哈佛大学借助高性能算力集群与优化框架，将模型部署周期从数周缩短至数天 [3] (三) 国产算力领域 - 开普云通过全栈协同优化，使长上下文推理吞吐量提升1.5倍 [3] (四) 制造业领域 - 某机器人企业依托分布式容器云平台，实现私有化部署效率提升80%，响应延迟降低35% [3] 六、发展趋势与建议 (二) 产业挑战 - 当前行业存在成本高企、标准缺失、人才短缺、生态碎片化、安全合规复杂等问题 [3] (三) 发展建议 - 报告建议加快建立技术标准体系，构建产学研用协同创新机制，培育复合型人才队伍，优化产业政策环境，推动商业模式创新 [3] - 未来技术将向全栈协同优化、云边端协同、自适应调度等方向演进 [3]

公司发展 - 公司成立于2014年，历经11年发展，自主研发神经网络处理器核心IP和芯片，专注于大模型高效推理，成为AI推理芯片领域知名企业 [3] - 2023年发布基于"算力积木"架构的DeepEdge10芯片平台，推出四款芯片，算力覆盖8T至256T，适配DeepSeek系列模型、QwQ-32B模型及国产鸿蒙操作系统 [3][4] - 联合生态伙伴推出覆盖云、边、端的AI推理产品系列，包括模组、边缘智能盒子、AI推理加速卡、大模型推理一体机及智算服务器，广泛应用于智算中心、智慧城市和具身智能等领域 [4] 技术创新 - "算法芯片化"理念融合场景理解、算法需求、计算任务特点及硬件特性，确保芯片在实际应用中发挥最优效能 [5] - "算力积木"创新架构通过标准化大模型计算单元，利用D2D Chiplet、C2C Mesh和动态路由技术，灵活组合不同算力芯片，提升场景适配能力 [5] 产业应用 - 为深圳某区部署搭载DeepSeek-R1全尺寸模型的训推一体机，助力龙岗成为广东省首个在政务信创环境成功部署该模型的区域 [6] - 2021年为深圳公交车打造"OD分析系统"，首创基于头肩颈识别的高精度OD分析，2024年将解决方案复制到青岛提升公交智能化运营水平 [6] - 战略投资闪极科技、智慧互通&臻识科技、神州云海等细分领域龙头企业，并投资深圳国创具身智能机器人有限公司，拓展芯片多元化应用场景 [6] 行业地位与成就 - 公司三度荣获"中国智能科学技术最高奖"吴文俊人工智能科学技术奖，包括芯片项目一等奖、科技进步奖一等奖等，成为同时斩获算法、芯片、应用三项大奖的AI企业 [7] - 入选2021年工信部人工智能重点任务揭榜优胜单位，荣获2018年度深圳市科学技术进步一等奖、2023年中国电子学会科学技术奖一等奖、2023年广东省科技进步奖特等奖 [7] - 主导或参与发布标准60余项，覆盖人工智能、芯片、生物特征识别、具身智能等领域，2023年五项人工智能标准入选工信部百项团体标准应用示范项目 [8] 知识产权与国际化 - 截至2025年4月，公司获授权专利超1000项（含境外专利31项），其中发明专利700余项，登记软件著作权190余项，上榜2018年度中国知识产权领域极具影响力创新主体百强 [8] - 在联合国提出三点倡议：打造高效AI推理芯片平台、制定统一AI推理网络标准、拓展AI应用边界，推动全球共享AI便利与福祉 [9]