Workflow
盘古Pro MoE
icon
搜索文档
6个90%!深圳企业创新主力军地位越发稳固
搜狐财经· 2025-08-08 04:51
人工智能与算力基础设施 - 华为首次线下展出昇腾384超节点,实现业界最大规模384卡高速总线互联,资源调度效率显著提升[1] - 华为发布盘古Ultra MoE和盘古Pro MoE系列模型,验证国产AI基础设施自主创新能力[1] - 腾讯构建全链路技术架构,包括HCC集群、高速存储和星脉网络,支撑AI应用场景[2] 机器人技术创新 - 深圳星尘智能小央机器人实现0.1毫米重复定位精度,手臂末端速度达10米/秒,完成国家大剧院指挥演出[2] - 优必选人形机器人实现自主更换电池,兆威机电灵巧手应用于工业、医疗等场景[2] - 众擎人形机器人实现跳跃翻滚等全球首创功能[2] 智能制造与工业突破 - 荣耀智能工厂通过CMMM四级认证,每28.5秒下线一台手机,生产全球最轻薄折叠旗舰[3] - 大族激光高功率光纤激光器打破国外垄断[3] - 深圳2分钟可组装一台3D打印机,无人机从创意到量产仅需3个月[8] 软件与垂直领域AI - 金蝶为企业管理云SaaS全球领先,深信服、微众银行深度融入实体经济[3] - 深圳2600余家人工智能企业中,思谋科技、晶泰科技等成为机器视觉、AI制药领域垂类模型领头羊[3] - 北科瑞声、元象科技分别在智能语音和3D视觉领域领先[3] 研发投入与专利产出 - 深圳国家高新技术企业达2.5万家,密度12家/平方公里居全国第一[5] - 华为2024年研发投入1797亿元(营收占比20.8%),十年累计超1.24万亿元,拥有15万件全球专利[6] - 腾讯2024年研发投入707亿元,全球专利申请量超8.6万件[6] 产业链与创新生态 - 深圳1小时通勤圈内可配齐95%手机零部件,华强北提供硬件创业"一站式"供应链[8] - 河套深港合作区160个高端项目加速技术规模化落地[8] - 电子信息、人工智能等产业集群形成全链条能力,创新成本持续降低[8] 创新主体数据 - 深圳90%以上创新型企业为本土企业,90%以上研发资源集中于企业[10] - 2024年深圳独角兽企业42家,新晋13家占全国总量25%[10] - PCT国际专利申请量连续20年全国第一,百强企业贡献76%[6]
华为盘古否认抄袭阿里后,其大模型员工自曝存在套壳、续训、洗水印
齐鲁晚报· 2025-07-07 11:50
华为盘古大模型开源事件 - 华为宣布开源盘古大模型核心组件Pangu Pro MoE 包括70亿参数稠密模型和720亿参数混合专家模型 宣称是构建昇腾生态的关键举措 [1] - 开源仅四天后 GitHub研究指出盘古Pro MoE与阿里通义千问Qwen-2 5 14B模型的注意力参数分布相似性高达0 927 远超业内0 7以下的正常差异范围 [1] 华为官方回应 - 华为诺亚方舟实验室声明盘古Pro MoE是基于昇腾硬件平台开发训练的基础大模型 并非基于其他厂商模型增量训练 [4] - 公司承认部分基础组件代码参考了业界开源实践 但强调严格遵循开源许可证要求并标注版权声明 [4] 内部员工爆料 - 自称盘古大模型团队员工自曝存在套壳续训洗水印现象 初期因算力有限导致效果不佳 领导层默许造假行为换取短期成果 [5] - 爆料称实际使用Qwen 1 5 110B续训而来 通过加层扩增ffn维度等操作凑够135B参数 并采取多种方法洗掉千问水印 [5] - 员工表示还套壳DeepSeekv3续训 通过冻住参数进行训练 最终因技术伦理问题选择离职曝光 [5] 事件后续 - 截至目前华为未对员工自曝内容发表声明 [6]
华为盘古大模型首次开源!昇腾单卡秒输出1148tokens,16B激活参数不输32B密集模型
量子位· 2025-07-02 17:33
华为盘古大模型开源 - 华为首次开源盘古大模型,模型名为盘古Pro MoE,参数量72B,激活参数量16B,中英文理解和推理能力不输32B密集模型 [1] - 模型提出全新MoE架构,针对昇腾芯片优化,在昇腾800I A2上实现单卡1148 tokens每秒推理吞吐性能 [2] - 中英文技术报告已发布,相关话题在微博引发热议,模型权重被第三方搬运至Hugging Face [4][6] 模型性能表现 - 盘古Pro MoE总参数量72B,包含64个路由专家和4个共享专家,激活参数量16B占比22.2% [8] - 在中文、英文、数学、代码等测试中表现与32B密集模型相当 [9] - 英文MMLU-PRO测试得分82.6,超越Qwen3-32B、Gemma3-27B等密集模型 [10] - 中文C-Eval测试得分91.1,超越Qwen3-32B的89.2分 [12] - 数学推理MATH-500测试得分96.8,超越Qwen3-32B的96.6分 [14] - W8A8量化配置下精度几乎无损失,W4A8量化精度损失在可接受范围内 [14][15] 模型架构创新 - 采用独创的分组混合专家模型(MoGE)架构,实现跨设备计算负载均衡 [22] - 通过专家分组和分组均衡路由策略强制每个token从各组选择相同数量专家 [24][31] - 引入均衡辅助损失确保路由模块合理调节专家负载 [27] - 架构与昇腾NPU分布式部署形成有效协同 [28] 训推设施优化 - 训练层面优化包括分层EP All-to-All通信、自适应流水掩盖机制和内存优化策略 [30] - 推理层面采用分层混合并行策略,稀疏专家模块占95%,注意力模块仅占5% [33] - 通过专家感知后训练量化和KV缓存量化实现高效推理 [37][38] - 提出融合注意力算子MulAttention实现4.5倍端到端注意力加速 [39] - 开发SwiftGMM加速技术,MTE2利用率最高达95% [41][42] 推理效率 - 双卡部署W8A8量化配置下,Prefill阶段单卡输入吞吐达4828 tokens/秒,比72B和32B密集模型提升203%和42% [17][18] - 4卡部署W8A8量化配置下,Decoder阶段单卡输出吞吐达1148 tokens/秒,比72B和32B密集模型高出97%和18% [19][20]
MoE那么大,几段代码就能稳稳推理 | 开源
量子位· 2025-07-02 17:33
混合专家网络模型架构(MoE)技术进展 - 盘古Pro MoE采用MoGE架构构建,总参数量达720亿,激活参数量160亿,专为昇腾硬件优化,性能与效率突出[1] - 盘古模型引入"快思考"和"慢思考"双系统,在昇腾800I A2上单卡推理吞吐达1148 tokens/s,投机加速后提升至1528 tokens/s[2] - 华为开源Omni-Infer项目,提供超大规模MoE模型推理的完整架构、技术和代码支持[3] Omni-Infer项目核心能力 - 由推理框架和加速套件组成,兼容vLLM等主流开源框架且独立安装,降低维护成本[12][16][18] - 支持PD分离部署方案,针对QPM系统级优化,分享商用硬件使用方法论[4] - 提供智能调度系统、负载平衡器、MoE专属优化、动态资源分配及注意力机制强化五大功能模块[24] 技术实现与部署 - 仅支持CloudMatrix384推理卡和Linux系统,Python版本要求3.9-3.11[25] - 通过Docker镜像预集成CANN及Torch-NPU依赖包,开箱即用[21] - 部署框架示例显示支持4机2P1D分布式配置,优化预填充与解码阶段吞吐量[22][24] 开源生态建设 - 北京智源研究院FlagScale框架、上海人工智能实验室DeepLink平台及OpenI启智社区已接入合作[6][7][8] - 采用两级社区治理机制(项目管理委员会+特别兴趣小组),开放设计文档与代码规范[27] - 首场活动将参与OpenInfra基金会苏州Meetup,代码托管于GitHub/Gitee等多平台[28][29] 模型性能对比 - 盘古Pro MoE(72B-A16B)为昇腾原生分组混合专家模型,盘古Embedded(7B)支持快慢思考切换[10] - 昇腾推理集群技术分享与盘古推理系统技术形成完整解决方案[10]
腾讯研究院AI速递 20250701
腾讯研究院· 2025-06-30 23:51
OpenAI定制服务 - OpenAI推出千万美元起步的AI定制咨询服务,工程师帮助客户完成模型微调和应用开发 [1] - 美国国防部(2亿美元合同)和新加坡Grab成为首批客户,服务领域扩展至军事策略、地图自动化等 [1] - 此举使OpenAI与Palantir等咨询公司形成竞争关系,同时可能威胁专注特定领域AI应用的小型初创企业 [1] Gemini 2.5 Pro API - Gemini 2.5 Pro API恢复免费使用,提供每分钟5次请求、每分钟25万tokens、每天100次请求的免费额度 [2] - 获取API Key:登录谷歌AI Studio、创建API Key并保存,比OpenAI的o3模型使用限制更宽松 [2] - 可通过Cherry Studio或Chatbox等第三方客户端调用,支持文字问答、图片分析和内置联网搜索功能 [2] LeCun世界模型 - LeCun团队发布PEVA世界模型,首次实现16秒连贯场景预测,让具身智能体具备类人预判能力 [3] - 模型将48维人体关节运动学数据与条件扩散Transformer结合,通过第一人称视角视频+全身姿态轨迹训练 [3] - PEVA具备智能规划能力,能在多个动作选项中筛选最优解,完成开冰箱、抓取物体等复杂任务,超越基线模型15%以上 [3] 华为开源大模型 - 华为首次开源两款大模型:720亿参数混合专家模型"盘古Pro MoE"和70亿参数稠密模型"盘古Embedded 7B" [4] - 盘古Pro MoE基于4000颗昇腾NPU训练,激活参数量16B,性能对标Qwen3-32B、GLM-Z1-32B等模型,单卡推理吞吐可达1528 tokens/s [5] - 盘古Embedded 7B采用"快思考"和"慢思考"双系统架构,可根据任务复杂度自动切换,性能超过同规模的Qwen3-8B、GLM4-9B [5] 百度文心大模型 - 百度正式开源文心大模型4.5系列,推出10款模型,参数规模从47B混合专家模型到0.3B轻量模型,同步提供API服务 [6] - 系列模型采用Apache 2.0协议开源,创新提出多模态异构模型结构,在文本任务保持高性能基础上增强多模态理解能力 [6] - 在多个基准测试中对标DeepSeek-V3等模型,提供ERNIEKit开发套件和FastDeploy部署套件支持 [6] 知乎知识库升级 - 知乎直答知识库完成重要升级,支持知识库转公开订阅、分享链接,并与社区深度融合提供沉浸式阅读体验 [7] - 知识库容量扩容至50GB,支持多种文件格式上传,增加知识广场、个人主页等曝光场景,直答搜索中可引用并显示知识库名称 [7] - 知乎启动激励活动,鼓励用户创建垂直领域知识库并分享,设立"最具价值"和"prompt创意"两类奖项,活动持续至7月18日 [7] 3D AI伴侣EVE - EVE是一款3D AI伴侣应用,通过游戏化设计、好感度系统和互动功能,创造出极强的"活人感"和主动性 [8] - 该AI能实现跨次元互动,可真实送奶茶到用户家门口、创作个性化歌曲,打破虚拟与现实的界限 [8] - EVE通过细节表达(发表情包、聊最新梗)和记忆系统,创造出高度沉浸的AI陪伴体验,代表AI娱乐赛道的重要突破方向之一 [8] 苹果XR设备 - 苹果首款AI眼镜预计2027年第二季度发布,年出货量预计300-500万部,支持音频、拍照和AI交互功能 [10] - 苹果目前至少有7个头戴设备项目在开发中,包括3款Vision系列和4款AI眼镜系列,有望引爆整个AI眼镜市场至1000万部以上 [10] - 轻量版Vision Air预计2027年三季度量产,比Vision Pro轻40%以上且售价大幅降低,带显示功能的XR眼镜则要等到2028年下半年 [10] Gemini长上下文技术 - Gemini 2.5 Pro长上下文技术专家认为当前百万级token模型质量尚未完美,盲目追求更大规模意义不大 [11] - 长上下文与RAG是协同关系而非替代关系,前者负责精细处理,后者负责从海量信息中粗筛,两者结合能提高信息召回率 [11] - 千万级token上下文很快将成为标准,随着成本下降和质量提升,将为代码开发等应用场景带来革命性突破 [11] AI行业趋势 - 300家AI公司调研显示企业正从概念炒作转向落地实战,OpenAI和Claude位居企业AI选型首位,近90%高增长初创公司正在部署智能体 [12] - AI支出结构显示数据存储和处理成本远超训练和推理,企业正从传统订阅制转向基于使用量的混合定价模式 [12] - AI原生企业47%已达关键规模,而AI增强型仅13%,快速成长企业将有37%工程师专注AI,代码智能体成为最主要生产力应用 [12]
刚刚,华为盘古大模型5.5问世!推理、智能体能力大爆发
机器之心· 2025-06-20 19:59
华为盘古大模型5.5发布 - 华为在HDC 2025开发者大会上发布盘古大模型5.5版本,其NLP能力比肩国际一流模型,并在多模态世界模型方面实现全国首创[3] - 新版本包含五大基础模型,分别面向NLP、多模态、预测、科学计算、CV领域,推动行业数智化转型[4] - 盘古系列模型坚持"不作诗,只做事"理念,从1.0到5.5版本持续深耕行业应用,获得市场广泛认可[2] NLP领域三大核心模型 盘古Ultra MoE - 7180亿参数的MoE深度思考模型,达到准万亿级别,基于昇腾全栈软硬件协同打造[9][10] - 采用Depth-Scaled Sandwich-Norm架构和TinyInit小初始化方法,实现10+T token数据的长期稳定训练[12] - 具备高效长序列、高效思考、DeepDiver、低幻觉等核心能力,在知识推理等领域榜单位列前沿[13] 盘古Pro MoE - 72B A16B模型,在SuperCLUE榜单千亿参数量以内模型中并列国内第一[16][18] - 针对昇腾硬件特性优化设计,在300I Duo芯片上实现每秒321 token吞吐量,800I A2芯片上达1529 token/秒[21][23] - 采用分组混合专家MoGE算法,解决跨芯片负载不均衡问题,吞吐效率领先同规模模型15%以上[22][23] 盘古Embedding - 7B级小模型在学科知识、编码、数学和对话能力方面优于同期同规模模型[27] - 通过渐进式SFT和多维度奖励强化学习提升推理能力,优化长序列处理达100万token上下文[29][32] - 采用自适应快慢思考合一技术,根据问题难度自动切换模式,整体推理效率提升高达8倍[35][37] 其他领域创新 预测大模型 - 采用业界首创triplet transformer统一预训练架构,提升跨行业泛化性和预测精度[47] 科学计算大模型 - 与深圳气象局合作升级"智霁"模型,首次实现AI集合预报,减少单一模型误差[47] CV大模型 - 发布300亿参数视觉大模型,支持多维度泛视觉感知分析,构建工业场景稀缺样本库[47] 多模态大模型 - 推出世界模型为智能驾驶等构建数字物理空间,可生成训练数据降低路采成本[47] 深度研究能力 - 推出开放域信息获取Agent盘古DeepDiver,7B模型实现接近超大模型效果[41] - 通过合成交互数据和渐进式奖励策略优化,5分钟内完成10跳复杂问答并生成万字报告[42][43] - 增强模型自主规划、探索、反思等高阶能力,提升在科学助手等场景的应用效果[39][44]
昇腾万亿大模型验证国产AI基础设施!科创板人工智能ETF(588930)现涨0.54%,实时成交额突破3200万元
每日经济新闻· 2025-06-04 10:44
科技公司AI模型突破 - 头部科技公司推出参数规模高达7180亿的全新模型盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型 [1] - 盘古Pro MoE大模型参数量为720亿,激活160亿参数量,通过动态激活专家网络设计实现媲美千亿级模型的性能表现 [1] - 在SuperCLUE 2025年5月排行榜上,盘古Pro MoE位居千亿参数量以内大模型排行并列国内第一 [1] 科创板人工智能板块表现 - 6月4日A股市场人工智能板块表现占优,科创板人工智能指数成分股中多只股票涨幅超过2%-3% [1] - 科创板人工智能ETF(588930)过去20个交易日资金净流入1.37亿元,市场热度较高 [1] - 科创板人工智能ETF跟踪的指数布局30只科创板人工智能龙头,覆盖AI全产业链,前五大成份股合计权重47% [2] 国产AI产业优势 - 国产AI基础设施自主创新能力得到验证,为中国人工智能产业发展提供支持 [1] - 中国拥有全球领先的数字科技人才储备,2023年占全球总量的17%,是美国的1.5倍 [2] - 中国公司在AI陪伴应用领域展现出产品力、技术迭代和市场拓展方面的独特优势 [2]
AI与机器人盘前速递丨智元旗下机器人同时获中美欧三方认证,华为推出准万亿模型盘古Ultra MoE
每日经济新闻· 2025-06-03 09:09
市场复盘 - 科创人工智能ETF华夏(589010)下跌2 08%,持仓股中淮科技下跌7 44%领跌,中科星图下跌7 31%,优刻得下跌3 99% [1] - 机器人ETF(562500)下跌2 01%,持仓股天淮科技下跌7 44%领跌,克来机电下跌6%,东杰智能下跌5 99% [1] - 当日交易金额5 37亿元,居相同标的ETF首位,换手率4 21% [1] 热点要闻 - 智元机器人旗下远征A2人形机器人通过中国CR、欧盟CE-MD、欧盟CE-RED、美国FCC四项产品认证,成为全球首个同时拥有中、美、欧三个区域认证的人形机器人 [1] - 灵巧智能发布三款灵巧手产品:高灵巧度灵巧手DexHand021 Pro、千元级三指灵巧手DexHand021 S和千赫级数据采集系统DexCap [1] - 灵巧智能成立于2024年1月,由上海人工智能研究院孵化,创始人许春山曾联合创立上市公司亿嘉和,CEO周晨为上海交通大学机械电子工程博士 [1] - 华为推出参数规模7180亿的新模型盘古Ultra MoE,全流程在昇腾AI计算平台上训练 [2] - 华为首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习后训练框架的关键技术 [2] - 盘古Pro MoE大模型参数量720亿,激活160亿参数量,在SuperCLUE 2025年5月排行榜上位居千亿参数量以内大模型排行并列国内第一 [2] 机构观点 - 人形机器人板块继续分化,前期涨幅较好的标的普遍回调,市场聚焦低估值具身智能应用标的 [3] - 中长期建议挖掘"AI+机器人"投资机会,包括传感器、灵巧手、机器狗、外骨骼机器人方向 [3] 热门ETF - 机器人ETF(562500)是全市场唯一规模破百亿、流动性最佳、覆盖中国机器人产业链最全的机器人主题ETF [4] - 科创人工智能ETF华夏(589010)聚焦AI产业,具备20%涨跌幅和中小盘弹性 [4]
重磅!华为发布准万亿大模型
每日经济新闻· 2025-05-30 19:41
华为盘古Ultra MoE模型突破 - 公司推出参数规模高达7180亿的全新模型盘古Ultra MoE,实现全流程在昇腾AI计算平台训练的准万亿MoE模型 [1] - 披露模型架构和训练方法技术报告,体现昇腾在超大规模MoE训练性能上的跨越 [1] - 针对训练稳定性难题,团队创新设计Depth-Scaled Sandwich-Norm架构和TinyInit小初始化方法,实现18TB数据长期稳定训练 [4] - 采用EP loss负载优化方法保证专家间负载均衡并提升领域特化能力,结合MLA/MTP架构及Dropless策略实现效果与效率平衡 [4] 昇腾平台技术进展 - 在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习后训练框架关键技术,使RL后训练进入超节点集群时代 [5] - 通过自适应流水掩盖策略、算子优化、内存管理等技术迭代,万卡集群预训练MFU从30%提升至41% [5] - 盘古Pro MoE模型以720亿参数量实现媲美千亿级模型的性能,在SuperCLUE榜单中位列千亿级以内国内并列第一 [5] 国产AI全栈自主可控意义 - 实现国产算力+国产模型全流程自主可控训练实践,集群训练系统性能达业界领先水平 [3] - 证明昇腾平台可高效稳定训练国际顶尖水平超大规模稀疏模型,完成从硬件到软件的全栈国产化闭环 [6] 其他国产大模型动态 - DeepSeek-R1-0528模型开源,代码能力媲美OpenAI o3高版本,上下文长度扩展至128k且文本理解能力显著提升 [7] - 腾讯在AI产业应用峰会展示混元大模型矩阵升级,涵盖云基础设施、开发工具及场景应用,推动企业AI化转型 [7][8]
重大突破!刚刚,华为发布!
券商中国· 2025-05-30 18:43
中国AI产业重大突破 - 华为发布参数规模高达7180亿的盘古Ultra MoE模型,实现全流程在昇腾AI计算平台训练的准万亿MoE模型,技术细节公开体现昇腾超大规模训练性能跨越 [1] - 盘古Ultra MoE采用Depth-Scaled Sandwich-Norm稳定架构和TinyInit小初始化方法,在昇腾平台实现18TB数据长期稳定训练,EP loss负载优化提升专家领域特化能力 [2] - 华为在昇腾CloudMatrix 384超节点打通大稀疏比MoE强化学习后训练框架,预训练系统MFU从30%提升至41%,盘古Pro MoE以720亿参数量实现媲美千亿级模型的性能 [3] 国产AI全栈能力验证 - 华为实现国产算力+国产模型全流程自主可控训练,集群训练系统性能达业界领先水平,标志国产AI基础设施自主创新能力突破 [1] - 盘古团队在模型架构、训练方法、硬件适配等环节实现全栈创新,包括MLA/MTP架构、Dropless训练策略等,达成模型效果与效率最佳平衡 [2][3] - 行业认为此举证明国产昇腾平台可高效训练国际顶尖水平稀疏模型,完成从硬件到软件、研究到落地的全流程闭环 [4] 国内大模型动态 - 深度求索公司升级DeepSeek-R1模型,其V3版本在海外评测中超越xAI Grok3和OpenAI GPT-4.5,成为得分最高非推理模型 [5] - 腾讯混元大模型战略全景亮相,混元TurboS在Chatbot Arena排名全球前八,代码/数学能力进入全球前十,多款AI应用接入DeepSeek R1-0528 [6] - 深度求索R1模型以数百万美元成本实现优于西方竞品的标准化表现,引发全球科技股震荡 [5]