MindIE

搜索文档
从“积木堆叠”到“有机生命体”:昇腾超节点重新定义AI算力架构
环球网· 2025-05-26 18:06
大模型算力需求与挑战 - 大模型参数量增长推动算力需求进入新纪元,传统集群架构受通信效率制约成为训练效率瓶颈 [1] - 传统集群架构面临三大核心痛点:通信瓶颈恶化(MoE模型节点间通信量几何级增长,400G网络时延超2ms)、资源分配粗放(静态划分导致效率下降30%以上)、可靠性脆弱(万卡集群每周故障2-3次,单次损失超百万美元)[1][2] - 行业需求从"算力堆砌"转向"效率革命",需构建"以数据流动为核心"的新架构 [1][2] 昇腾超节点技术架构创新 - 硬件互联突破:高速总线连接多颗NPU,跨节点通信带宽提升15倍,时延从2ms降至0.2ms [3] - 全局内存统一编址:虚拟化技术实现跨节点直接内存访问,消除参数同步的传统流程,提升小包数据传输效率 [5] - 智能资源调度:动态切分MoE模型任务(如288专家分配至独立NPU),计算与通信耗时比从1:1优化至3:1 [5] - 可靠性革新:七平面链路设计+秒级故障切换+算子级重传,无故障时长从几小时提升至几天,恢复时间缩短至15分钟 [5][6] 昇腾超节点性能与产业落地 - 构建384卡高速总线互联体系,训练性能达传统节点3倍,深度适配MoE模型释放潜力 [8] - MindIE Motor推理服务单卡吞吐达传统服务器4倍,超节点+大EP方案性能为业界4倍 [8] - 推出多模态理解SDK和昇腾推理微服务MIS,简化应用部署流程 [8] - 2022年起与DeepSeek等企业联合实验室优化架构,形成"需求驱动创新"闭环 [8] 行业技术哲学与趋势 - 架构创新成为后摩尔定律时代核心,需攻克高速互联、动态调度等世界级难题 [9] - 昇腾超节点技术突破使算力不再成为创新桎梏,推动AI产业进入"万类霜天竞自由"阶段 [9]
华为周军:鲲鹏、昇腾已发展超过665万开发者
快讯· 2025-05-23 22:45
鲲鹏昇腾开发者大会2025技术发布 - 鲲鹏AI+解决方案正式推出,面向通用计算领域构建AI时代卓越引擎 [1] - 开源发布多样化算力集群软件开源社区openFuyao [1] - 昇腾发布CATLASS算子模板库、MindIE Motor推理服务加速库、推理微服务MIS [1] - 持续升级分层开放CANN能力、MindSpeed RL强化学习套件、大规模专家并行推理解决方案 [1] 华为生态策略与成果 - 坚持"硬件开放、软件开源、使能伙伴、发展人才"的生态策略 [1] - 持续投入根技术创新和系统架构创新 [1] - 截至2025年5月已发展超过665万开发者、8800多家合作伙伴 [1] - 完成23900多个解决方案认证 [1] 算力底座建设 - 持续打造坚实、易用的算力底座 [1] - 使能开发者和伙伴加速行业智能化 [1]
阿里Qwen3能否成为下一个DeepSeek?
36氪· 2025-05-07 19:38
模型发布与技术特点 - 阿里巴巴旗下通义千问团队发布并开源新一代模型Qwen3系列,包括2款参数规模为30B和235B的混合专家(MoE)模型,以及6款参数从0.6B到32B的密集模型 [1] - Qwen3采用混合专家(MoE)架构,旗舰模型Qwen3-235B-A22B总参数量235B但激活仅需22B,显著降低运行时算力需求 [3] - 预训练数据量跃升至36T,是Qwen2.5的三倍,多轮强化学习优化了模型在推理、指令遵循、工具调用及多语言能力等方面的表现 [5] - 在ArenaHard综合测试中得分95.6,AIME'24数学测试85.7,LiveCodeBench代码测试70.7,LiveBench决策测试77.1,显示多项能力提升 [5] 部署与成本优势 - 华为昇腾MindSpeed和MindIE实现Qwen3系列0Day适配,海光信息DCU完成全部8款模型无缝适配与调优 [2] - Qwen3-30B-A3B可单卡4090部署,Qwen3-235B-A22B仅需4张H20,显存占用为性能相近模型的三分之一,大幅降低部署成本 [2][6] - 与DeepSeek-R1相比参数量仅为其1/3,成本大幅下降,降低中小企业和个人开发者使用高性能模型的门槛 [6] 性能表现与局限性 - 在生成复杂代码、数学推理等方面思考模式表现明显优于非思考模式,但长文本能力表现不突出且存在一定幻觉率 [6] - 测试显示"普通"模式生成报告时出现较高幻觉率,而"深度思考"模式下幻觉率大幅降低,数据准确性提升 [6] 公司战略布局 - 阿里未来三年将投入超3800亿元用于云和AI硬件基础设施建设,强化通义千问与夸克的"双子星"格局 [7] - 通义千问专注云上智能支撑,夸克打造端侧入口,两大App所有用户均可免费使用Qwen3开源模型 [7] - 夸克2025年3月MAU达1.48亿登顶国内AI应用榜首,公司通过组织调整整合天猫精灵与夸克团队推进AI To C战略 [9] 行业竞争态势 - 腾讯混元大模型依托微信生态优势,字节跳动豆包借助抖音推流优势,2024年11月MAU达5998万长期霸榜AI应用前三 [10] - 阿里面临技术优势维持与使用门槛降低的双重挑战,中小企业技术对接与模型二次开发存在困难 [9] - 夸克用户体验稀释问题凸显,需优化技术架构与服务器性能以应对用户快速增长 [10]
华为昇腾全系列支持Qwen3
快讯· 2025-04-29 18:31
阿里通义千问模型Qwen3开源与华为昇腾支持 - 阿里通义千问模型Qwen3于4月29日开源数小时后即获得华为昇腾的全系列模型部署支持 [1] - 开发者可通过华为MindSpeed和MindIE工具实现千问3的0Day适配即开箱即用 [1] - 千问3是国内首个"混合推理模型"集成"快思考"与"慢思考"机制 [1] 千问3技术特性 - 模型对简单需求采用低算力"秒回"模式显著提升响应效率 [1] - 对复杂问题启用多步骤"深度思考"功能优化计算资源分配 [1] - 混合推理架构设计实现整体算力消耗的大幅节省 [1]
【昇腾全系列支持Qwen3】4月29日讯,据华为计算公众号,Qwen3于2025年4月29日发布并开源。此前昇腾MindSpeed和MindIE一直同步支持Qwen系列模型,此次Qwen3系列一经发布开源,即在MindSpeed和MindIE中开箱即用,实现Qwen3的0Day适配。
快讯· 2025-04-29 14:27
昇腾全系列支持Qwen3 - Qwen3于2025年4月29日发布并开源 [1] - 昇腾MindSpeed和MindIE此前已同步支持Qwen系列模型 [1] - Qwen3系列发布后立即在MindSpeed和MindIE中实现开箱即用 [1] - 昇腾全系列完成Qwen3的0Day适配 [1]