大模型基础设施工程挑战 - 训练任务中断是万卡集群的普遍现象，GPU错误率导致每天必然出现不同故障，同步训练特性使单卡故障可导致整个训练停滞[4] - 硬件故障定位困难，早期依赖人工二分法排查准确率低，误判会导致任务反复重启失败，涉及网络系统、交换机、光模块等多环节问题[4][5] - 损失函数异常飙升成因复杂，需算法团队与Infra团队紧密协作排查硬件差异、算法缺陷或代码错误[7] 推理部署核心问题 - 运行时错误和性能问题是用户最高频反馈，前者涉及显存分配溢出等配置错误，后者常因环境差异导致测试结果无法复现[6] - KV缓存内存分配不足会降低推理批次规模，预填充到解码各环节异常均可能引发延迟偏高或吞吐量下降[7] - 性能剖析工具如PyTorch Profiler和GPU监控系统对定位CUDA算子执行问题至关重要，人工排查效率低下[12] 工程流水线管理难点 - 并行策略兼容性挑战显著，如Multi Token Prediction与数据并行注意力机制存在代码耦合问题，需经历重构阵痛期[8] - 新特性与旧算法冲突时采用分版本独立启用策略，通过持续迭代逐步解决分支冲突，仅靠CI流水线保障不足[9] - 研发环节受资源限制，CI测试无法模拟万卡规模问题，功能更新导致MFU下降时需依赖二分法回退测试定位[10] 成本优化关键技术路径 - MoE架构专家并行可减少单卡权重负载，释放显存用于KV缓存，模型设计与部署需联合规划[14] - 推理缓存策略优化涉及CPU内存KV缓存驱逐机制，需针对Agent工作流等场景定制调度算法[15] - GPU利用率提升依赖计算通信重叠技术，如双批次重叠策略可掩盖通信开销[16] - 大型机柜整合方案通过NVLink拉远技术将跨节点通信带宽提升近节点内水平，显著改善MFU[18] 开源项目运营挑战 - 社区运营需构建用户反馈与开发者贡献的良性循环，超越代码能力成为项目持续进化核心[21] - 平衡公司工作与社区投入依赖开源热情，技术监督委员会运营和全球影响力建设需从零起步[20] - 硬件厂商锁定效应构成壁垒，如昇腾开源项目初期被认知为仅支持特定硬件[21] 异构计算发展趋势 - 预填充与解码阶段硬件需求分化推动异构部署，前者需要高算力芯片后者侧重显存管理[24] - GPU虚拟化依赖厂商支持，英伟达MIG基于SR-IOV技术实现设备级虚拟化资源分配[23] - 智能调度混部技术成熟使CPU/GPU混合部署成为基础设施演进方向[25]

在大模型快速演进的浪潮中，模型本身不再是唯一的挑战， 推理慢、训练不稳、数据难迁 等"系统性问题"正成为决定技术能否规模化落地的关键变量。 特别是对国产 AI 而言，算力适配、系统容错、数据合规等问题，更是绕不开的现实考验。 6 月 27～28 日， AICon 全球人工智能开发与应用大会·北京站 将带来聚焦系统层的七大关键议题，涵盖 国产芯片推理适配、开源部署实践、大规模训练容 错机制、AI 数据底座的云原生演进 等多个方向。既有深耕国产平台的实践派，也有活跃在开源社区的一线开发者，共同勾勒出国产 AI 基础设施建设的技术 全貌。 了解大会日程查看： https://aicon.infoq.cn/2025/beijing/schedule 以下是这七个演讲议题前瞻，一起提前了解他们将带来的分享内容： 昇腾 DeepSeek 大模型推理架构 by 王建辉 华为昇腾 / 架构师 在大模型加速部署进入深水区的今天，如何在国产算力平台上高效运行大模型，已成为影响应用落地的重要一环。本次分享将介绍昇腾 DeepSeek 大模 型推理架构，性能优化方案及关键优化措施，以及优化建议。 ✨ 关键词： 昇腾芯片推理优化 / ...

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI o3-pro刚刚也挑战了这两款游戏，而且表现还都不错，直接 突破了benchmark上限 。 具体来说，benchmark中推箱子一共就只做到了被o3-pro突破的第六关；俄罗斯方块则是强行终止的结果，实际上o3-pro根本停不下来。 如果和前SOTA——o3比较，o3-pro的成绩也是直接翻倍。 还有网友直言，比起大模型竞技场，这套标准才更适合做测试大模型的基准。 经典小游戏成为新Benchmark 推箱子、俄罗斯方块……这些人类的经典怀旧小游戏，也成大模型benchmark了。 o3-pro挑战的这两个游戏，出自一套名为 Lmgame 的benchmark，顾名思义就是让大模型玩游戏。 o3-pro挑战的推箱子是从1989年的版本修改而来，在o3-pro之前，评估指标是游戏结束之前推动到目标位置的箱子总数。 不过这次o3-pro直接把所有关卡都通了，颇有种"得一百分是因为卷面只有一百分"的感觉。 但也不必担心，测试基准会动态更新，GItHub仓库中半个月前更新的游戏地图还只有四关，原版游戏更是有足足50多个关卡。 而在o3-pro挑战之前，表现最好的 ...

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 推箱子、俄罗斯方块……这些人类的经典怀旧小游戏，也成大模型benchmark了。 o3-pro刚刚也挑战了这两款游戏，而且表现还都不错，直接 突破了benchmark上限 。 还有网友直言，比起大模型竞技场，这套标准才更适合做测试大模型的基准。 经典小游戏成为新Benchmark o3-pro挑战的这两个游戏，出自一套名为 Lmgame 的benchmark，顾名思义就是让大模型玩游戏。 o3-pro挑战的推箱子是从1989年的版本修改而来，在o3-pro之前，评估指标是游戏结束之前推动到目标位置的箱子总数。 具体来说，benchmark中推箱子一共就只做到了被o3-pro突破的第六关；俄罗斯方块则是强行终止的结果，实际上o3-pro根本停不下来。 如果和前SOTA——o3比较，o3-pro的成绩也是直接翻倍。 不过这次o3-pro直接把所有关卡都通了，颇有种"得一百分是因为卷面只有一百分"的感觉。 但也不必担心，测试基准会动态更新，GItHub仓库中半个月前更新的游戏地图还只有四关，原版游戏更是有足足50多个关卡。 而在o3-pro挑战之前，表现最好的 ...

采访嘉宾｜尹良升，SGLang 核心开发者 编辑｜罗燕珊 2025 年 5 月， SGLang 提出了第一个完全开源的 DeepSeek 大规模专家并行部署方案，该方 案也是目前开源实现中唯一能够复现官方博客所述推理性能和成本的方案。 近日，InfoQ 专访了 SGLang 核心开发者尹良升 ，他分享了该项目背后的关键技术、工程挑战 与社区生态，以及如何在大模型推理中实现性能与成本的平衡。从 PD 分离架构带来的尾延迟控 制，到推测解码提升 Token 生成速度，再到 KV 缓存落盘在多轮对话中的显存优化——这些关键 能力使 SGLang 成为支持低成本、大规模模型部署的高性能推理引擎。 尹良升，现就读于上海交通大学 ACM 班，即将前往加州大学伯克利分校 Sky Computing 攻读计 算机博士学位。他是 SGLang 最早期的几位核心开发者之一，深度参与了 SGLang 的研发和优 化。 6 月 27～28 日，在即将于北京举办的 AICon 全球人工智能开发与应用大会上，尹良升将发表演 讲《SGLang 推理引擎——高效的开源部署方案》，将深入解析前沿大模型推理关键技术，并探 讨其在实际应用中的优化 ...

大模型开发生态全景与趋势 核心观点 - AI技术迭代呈现"AI一天，人间一年"的加速特征，大模型能力从文本生成进化到多模态交互和具身智能，但项目淘汰率极高，仅少数能持续领先[1] - 蚂蚁开源发布的《2025大模型开源开发生态全景与趋势》报告覆盖19个技术领域135个项目，揭示生态位博弈逻辑和战略投资机会[1][2][3] - 大模型开发生态呈现"真实世界黑客松"特征：项目快速崛起消亡，5079个AI工具中1232个已停止维护[9][10] 生态全景图架构 - **应用层**：包含通用助手(OpenManus/OWL)、编码助手(OpenHands/aider)、Agent开发框架(Dify/n8n)、交互客户端(Open WebUI/SillyTavern)等6类项目[6] - **基础设施层**：涵盖数据治理(Label Studio/Airflow)、训练框架(PyTorch/TensorFlow)、推理部署(Ollam)、硬件加速库(CUTLASS/FlashAttention)等[6][7] - 项目筛选标准：采用OpenRank影响力指标，要求2025年月均值>10，结合GitHub协作关联和开发者访谈确定最终名单[8] 技术领域动态变化 - **模型训练框架**：PyTorch稳居生态顶流，百度飞桨OpenRank同比降低41%(绝对值降150)[20] - **高效推理引擎**：vLLM和SGlangOpenRank增速分列第一/第三，凭借GPU推理性能优势获企业青睐[20] - **低代码开发框架**：Dify和RAGFlow因降低开发门槛实现高速增长，均源自中国开发者社区[20] 七大关键趋势 1. **AI Search衰退vs AI Coding崛起**：联网大模型替代专用搜索工具，AI编码项目掀起"氛围编程"热潮[13][14] 2. **Agent框架分化**：LangChain/LlamaIndex等全能框架式微，Dify/RAGFlow等低代码平台主导市场[23] 3. **训练框架异构化**：PyTorch主导下，训练向混合硬件架构演进提升灵活性[16] 4. **推理效率优先**：vLLM等引擎通过算法优化提升GPU利用率，降低企业部署成本[16] 5. **应用开发平民化**：低代码+RAG技术使AI应用构建效率提升80%以上[17] 6. **Vibe Coding范式**：AI编程从代码生成转向真实工程场景，但代码质量/安全性仍存挑战[24][25] 7. **微服务化演进**：未来Agent将作为独立服务被调用，或以标准配置形式本地部署[26] 典型项目生命周期分析 - 明星项目快速消亡案例：Chatbot UI(3.1万Star)存活18个月，BabyAGI(2.1万Star)存活20个月，Swarm(OpenAI项目)被Agents SDK替代[11] - 项目平均活跃周期：头部AI项目从创建到停止维护约12-24个月，远低于传统软件生命周期[11][12] - 创新价值：消亡项目如BabyAGI提出的"自我进化Agent"概念持续影响后续技术路线[12] 技术演进方向 - **训练效率**：混合异构计算架构降低对单一硬件依赖，训练速度提升3倍[16] - **推理优化**：vLLM推理速度达传统方法5倍，资源利用率提升60%[20] - **AI开发工具**：预计24个月内代码验证技术+多模态训练数据将推动AI承担30%常规开发任务[26] - **生态马太效应**：头部平台将吸纳80%企业用户，形成需求反馈-功能优化的正向循环[26]

纪要涉及的行业和公司 - **行业**：数据中心AI GPU行业 - **公司**：AMD、NVIDIA 纪要提到的核心观点和论据 性能表现 - **不同工作负载下性能差异**：对于直接拥有并运营GPU的超大规模企业和公司，某些工作负载下英伟达每美元性能更优，其他工作负载中AMD更佳；使用短期至中期租赁服务的客户，通过Neocouds平台租用显卡时，英伟达始终在每美元性能上胜出，原因是缺乏提供AMD M00X、M25X的Neocouds服务商，导致其租赁市场价格居高不下，而英伟达有数百个Neocouds提供相关显卡，租赁市场竞争激烈[6][7]。 - **各型号GPU性能对比** - **M00X**：在大多数测试场景中无法与H200竞争，但对于Lama 05B和DeepSeekv 70B，在绝对性能和每美元性能上击败H100[12]。 - **M25X**：本应是H200的竞争对手，但因发货延迟，多数客户选择B200；在部分场景如高并发下的Llama 70B和Llama 05B测试中有优势，但整体性能受发货时间影响[8][13][74][86]。 - **B200**：软件支持仍未完善，但对于当前可部署的负载和模型占据绝对优势，M25和H200性能远不及它[13]。 - **H200**：解决了H100容量短板，在多数测试中表现出色，采用TensorRT - LLM的H200性能优势明显[22][76][88]。 市场份额 - AMD在数据中心AI GPU市场份额自202年第一季度起持续增长，但2025年第一季度因英伟达推出Backwe架构产品，而AMD对标方案要到2025年第三季度面世，市场份额相应下滑，预计2025年第二季度继续下降，不过随着M55X推出和软件改进，有望在年底或明年初重新夺回部分份额[26][27]。 基准测试方法论 - **强调在线吞吐量与延迟关系**：为接近现实推理工作负载，强调分析特定配置下在线吞吐量与每位用户端到端延迟的关系，而非传统离线基准测试，通过增加并发用户数测量延迟上升，得出反映实际运营和用户体验的吞吐量指标[30][31]。 - **模型选择**：针对现实世界生产负载的密集架构和稀疏混合专家（MoE）架构模型进行测试，分别选择Lama 70B、Lama 05B和DeepSeekV 70B作为代表[45][46][47]。 - **输入/输出令牌长度**：测试三种不同输入输出令牌长度组合，分别代表摘要、翻译或对话、推理密集型任务，以全面了解模型和硬件在不同推理工作负载下的性能[49][50][51][52]。 - **推理引擎**：针对不同模型选择不同推理引擎，如Lama 70B和05B选vLLM，H200平台额外评估TensorRT - LLM；DeepSeek 70B选SGLang[54][55][59][60]。 - **并行策略**：系统性评估每种GPU架构和测试场景下所有可行的张量并行（TP）配置，测量吞吐量和延迟确定最优并行策略[61][62]。 成本分析 - **总拥有成本（TCO）**：AMD的M00X和M25X GPU通常每小时总成本低于NVDA的H100和H200 GPU，但在不同延迟和模型测试场景下，性价比表现不同[110][111]。 - **租赁成本**：在GPU租赁市场，AMD因供应有限、市场竞争不足，租赁价格被抬高，整体成本竞争力削弱，英伟达始终在每美元性能上优于AMD；为使AMD GPU在租赁市场与英伟达竞争，M00X和M25X在不同工作负载下需达到特定租赁价格[158][159][160][167][170][171]。 其他重要但可能被忽略的内容 - **生产延迟问题**：AMD的M25X发货延迟，英伟达的GB200 NVL72也因集成NVLink背板挑战和缺乏调试工具遭遇严重延误[24][25]。 - **软件支持问题**：B200和GB200软件支持不完善，如FP8 DeepSeek V在相关推理框架上无法正常运行；AMD的M55X因量产机型未上市、存在未修复缺陷未进行测试[13][172][174]。 - **基准测试阻碍**：服务框架调优参数标志多、文档不足，代码更新快，无法跨机器并行实验，AMD维护独立代码库分支和配置等问题导致基准测试耗时且困难[182][184][185][186]。 - **持续集成测试问题**：AMD的SGLang持续集成（C）测试覆盖率远不及NVDA，有数十项单元测试缺失，影响软件质量和开发者体验[188][189]。 - **模型准确性问题**：AMD在夜间准确性测试方面此前为零，25%的测试模型在AMD平台上准确性测试失败，同一模型在ROCm上运行答案不如在NVDA上智能[194][195]。

在人工智能快速演进的浪潮下，大模型正加速重构各行业的技术底座，而 推理性能优化 正成为应对 算力挑战、内存瓶颈与通信压力的关键突破口。 当前，大模型推理性能优化主要围绕 模型优化、推理加速与工程优化 三大方向展开：通过模型量 化、剪枝与蒸馏等手段降低计算复杂度、提升推理效率，例如 DeepSeek-R1-Distill-Qwen-32B 采用 蒸馏策略，在保持高性能的同时显著压缩资源开销；依托 SGLang、vLLM 等高效推理引擎提升生成 速度与系统吞吐能力；同时结合实际业务场景，合理规划并发策略、优化 GPU 配置，打造具备高可 用性与扩展性的推理服务体系。 在即将于 5 月 23 日 -24 日举办的 AICon 全球人工智能开发与应用大会·上海站 中，我们特别策划了 《大模型推理性能优化策略》专题论坛，由阿里云公共云大模型技术服务负责人 王德山 担任专题出 品人，现已确认多位业内实践者参与分享。以下为嘉宾阵容及即将带来的精彩议题简介～ 向乾彪 – 腾讯推理架构师 姜慧强专注于高效推理和训练方法的探索。在多项国际顶级会议上发表过高水平论文，他的研究领域 涵盖动态稀疏注意力、KV 缓存优化、提示压缩等前沿 ...

开源策略与趋势 - DeepSeek宣布"开源周"计划，连续5天开源5个代码库，包括训练与推理工具，比技术报告和模型权重更深度[5] - 开源正成为行业趋势，部分原闭源公司开始发布首批开源模型，OpenAI CEO称"不开源是站在历史错误一边"[5] - DeepSeek通过详细技术报告（如V3达50多页）建立行业声誉，V3作为基座模型涵盖预训练、微调等完整流程[13][15][17] 开源技术层次 - 大模型开源分为四个层次：技术报告、模型权重（HuggingFace发布）、推理框架（如vLLM）、训练框架（如字节Verl）[19][26] - vLLM推理框架GitHub星数近4万，有840多位贡献者，基于PagedAttention论文优化[20][25] - 训练框架开源较少，因涉及复杂代码规范，字节开源的Verl框架支持强化学习算法如PPO和分布式策略[26][27] 工程优化与效率 - DeepSeek创新聚焦效率提升：V3采用多令牌预测、FP8低精度训练、优化流水线并行减少闲置计算单元[40] - FlashMLA开源项目实现算子层优化，类似FlashAttention通过GPU指令重组提升矩阵运算效率[45][46][48] - 工程实现难度高，如在线训练需同时处理生成与模型更新，对底层框架能力要求极高[49][50][51] 商业考量与行业影响 - 开源策略差异源于商业模式：非盈利机构Ai2开源最强模型+数据集，商业公司可能保留核心模型[54][56] - 开源可能重构行业生态，成为技术标准，但未来AI能力极强时开源最强模型或引发滥用风险[55][59] - 公司转向开源需额外投入：代码规范（如阿里代码规约）、适配外部框架（如ESFT适配耗时一周多）[36][34][35] 社区与开发者价值 - GitHub社区活跃度可通过星数（vLLM近4万）、Issues数（数千）、PR数（数百）衡量[20][25] - 开源项目需持续维护，如DeepSeek计划整合5个库功能并修复潜在bug[52] - 开发者诉求多样，包括支持FP8精度、NPU芯片适配等，反映实际应用场景需求[52]