Workflow
通信技术
icon
搜索文档
一张卡干俩活,华为要把算力榨干
虎嗅APP· 2025-06-05 22:24
华为MoE架构优化 - 华为提出MoGE架构,克服了传统MoE模型负载不均衡及效率瓶颈问题,实现降本增效并便于训练和部署 [1] - 中国科技企业对MoE架构进行优化重组,展现后发优势,推动大模型技术向更普适和高效的方向发展 [1] RL后训练的重要性 - RL后训练已成为突破大模型性能天花板的核心路径,OpenAI o1和DeepSeek-R1等模型均依赖该技术 [3] - RL后训练通过动态交互直接塑造大模型在复杂任务中的推理效能,当前占训练全流程20%算力,未来将升至50% [3] - 该技术在提升模型精度、泛化性和用户体验方面发挥不可替代作用 [5] RL后训练的挑战 - On-Policy算法导致训练与推理严格交替,资源利用率低下,形成"算力黑洞" [6][7] - 大规模集群中多模型异构并行策略组合使任务调度复杂度指数级增长,扩展效率显著下降 [8] 华为RL Fusion技术 - RL Fusion实现一卡同时执行训练和推理任务,资源利用率和吞吐翻倍 [9][10] - 支持训推共卡、全共卡等多种部署模式,并实现多维并行策略动态无缝切换 [10] - 针对MoE模型提出训推内存0冗余切换技术,消除EP变化造成的冗余内存 [11][12] - 优化后训推切换过程达到秒级,使集群利用率倍增并大幅降低成本 [15] 华为StaleSync技术 - StaleSync采用准异步机制,容忍梯度"陈旧性",使CloudMatrix 384超节点水平扩展效率超90% [16][17] - 该技术结合共置和分离架构优势,平衡不同RL计算任务的资源需求 [20] - 引入准异步调度机制,在保证精度前提下使系统整体训练吞吐量提升50% [23] 分布式数据队列DistQueue - DistQueue实现不同计算任务间数据的拆分、缓存与动态读取 [24] - 采用分层数据传输与零冗余通信技术,在Pangu 718B-MoE案例中将负载降低为1/128 [25] - 零冗余通信技术避免Padding带来的额外通信,实测降低80%以上通信量 [26] 实测性能表现 - RL Fusion使单个超节点吞吐提升78.5%,结合StaleSync实现35k token/s吞吐效率,整体性能提升1.5倍 [30] - 集群规模从1个扩展至4个超节点时,StaleSync吞吐从35k tokens/s提升至127k tokens/s,扩展线性度达91% [31][32] 技术影响 - 华为RL Fusion和StaleSync技术攻克算力浪费和集群扩展瓶颈,形成高效、高扩展、高通用性的集群调度方案 [33] - 该技术为百亿、千亿级大模型后训练提供强劲动力,推动下一代AI效率革命 [33]
高凌信息首亏5228万营收两连降 收购欣诺通信100%股份告吹
长江商报· 2025-06-04 07:40
收购终止 - 公司终止收购欣诺通信100%股份 主要因交易相关方未能就最终交易方案达成一致意见 [1][5] - 欣诺通信曾于2023年6月提交科创板IPO申请 拟募资6 09亿元 但于2024年6月主动撤回申请 [3][4] - 公司原计划通过发行股份及支付现金方式收购欣诺通信71 98%股权 并推动100%股权收购 旨在实现产品互补、技术协同及市场资源整合 [5] 财务表现 - 公司营业收入连续两年下滑 2022—2024年分别为5 17亿元、3 56亿元、2 66亿元 同比增速为4 48%、-31 13%、-25 23% [7] - 净利润连续三年下降 2022—2024年分别为8841 74万元、4605 17万元、-5227 57万元 同比降幅为25 66%、47 92%、213 52% 2024年为上市后首次亏损 [7] - 2025年一季度持续亏损 净利润-1264 68万元 同比下降179 02% 计提资产减值损失1006 75万元 [9][6] 亏损原因 - 军用电信网通信设备业务需求不足导致收入大幅减少 应收账款坏账准备计提增加 [7] - 全资子公司信大网御2024年亏损5686 52万元 公司转回其递延所得税资产 进一步加剧亏损 [7][8] 研发投入 - 2024年研发投入8003 50万元 占营业收入30 03% 研发人员占比38 58% [9] - 公司聚焦固网加密、人工智能、内生安全等技术 强化军工通信、通信大数据等领域的解决方案能力 [9]
国内首个!高校“可见光通信”课程落地深圳这所中学
南方都市报· 2025-06-03 23:25
可见光通信课程 - 清华大学深圳国际研究生院"可见光通信"课程首次在中学阶段引入 标志着中学网络通信教学领域的新篇章 [1] - 深圳市格致中学联合广东省无线光通信工程技术研究中心 清华大学深圳国际研究生院重点实验室共建"可见光通信创新实验室" 面向初高中学生开设该课程 [2] - 可见光通信(VLC/Li-Fi)利用LED光源明暗闪烁实现高速无线数据传输 具有高效节能 抗电磁干扰 高保密性等技术优势 [4] 可见光通信技术发展 - 清华大学2013年承接国家863计划和深圳市孔雀团队项目 2016年该技术列入国家"十三五"战略性新兴产业 2022年纳入深圳市"8大未来产业" [4] - 技术应用场景涵盖军事保密 无人机协同 地下矿井 城市管廊 应急通信等领域 市场前景广阔 [4] 协同育人模式 - 格致中学构建"中学+大学+企业+专业机构"办学体系 开发航天科创 零一创新 人文素养三大类百余门校本课程 [6] - 2021年建成大湾区首个中学量子计算中心 与深圳国际量子研究院 量旋科技合作开设量子课程 成立学生社团 [6] - 与国防科技大学合作开设卫星 火箭 风洞等航天课程 与清华大学共建广东省首个学习科学实验室 [6] 科创教育成果 - 学校配备长征五号火箭模型 空间站场景 人工智能实验室 科大讯飞智慧阅览室等高端教学设施 [7] - 学生累计获得国际发明展金奖等科创竞赛奖项60余人次 5人入选腾讯科学苗子计划 8人获评深圳市"明日科创之星" [9] - 创校四年获评全国教师专业发展示范校 广东省航空航天特色学校 深圳市科普基地等荣誉称号 [9]
训练MoE足足提速70%!华为只用了3招
量子位· 2025-06-03 14:21
MoE训练效率问题与华为解决方案 - MoE模型训练面临两大效率挑战:专家并行引入的计算/通信等待(50%以上训练时间浪费)和负载不均导致的计算等待[2][4][7] - 华为提出Adaptive Pipe & EDPB优化方案,通过"通信掩盖+动态负载均衡"实现无等待训练,类比"智慧交通系统"解决拥堵问题[3][9] 通信优化技术 - DeployMind仿真平台可在1小时内模拟百万次训练场景,为Pangu Ultra MoE 718B模型找到TP8/PP16/VPP2/EP32最优并行方案[10][11] - 层次化All-to-All通信将跨机传输减少50%,通过机内高速通道完成数据交换[15][16] - Adaptive Pipe框架实现98%通信掩盖率,权重占用减少50%,支持分层通信与细粒度调度[12][18][19] 负载均衡技术 - EDPB方案包含三大创新:专家预测动态迁移(E)、数据重排(D)、虚拟流水线均衡(P),整体提升训练吞吐25.5%[21][22][23][27][28] - 专家迁移技术采用预测+双层优化+智能触发机制,实现计算零存储开销和毫秒级响应[24][25] - 数据重排方案通过线性模型量化耗时,在精度无损前提下实现批次内负载均衡[27] 实际效果验证 - 在Pangu Ultra MoE 718B模型8K序列训练中,华为方案实现端到端72.6%吞吐提升[29][30] - 最优并行策略结合通信掩盖与动态迁移技术,达成计算/通信/内存三要素最佳平衡[11][19][22]
华为余承东:鸿蒙智行可能不会有第六“界”
快讯· 2025-05-31 17:59
华为鸿蒙智行战略调整 - 华为常务董事余承东表示鸿蒙智行可能不会再有第六"界" [1] - 公司认为能力有限,做两三个界已很不容易,五个界非常困难 [1] - 余承东用"五个手指握拳"比喻当前五个界的战略布局已足够 [1] - 公司决定暂时维持现有五个界的格局,集中资源共同发展 [1]
每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程
华尔街见闻· 2025-05-30 17:38
华为Pangu Ultra MoE大模型技术突破 - 华为通过"昇腾+Pan gu Ultra MoE"组合实现国产算力与国产模型全流程自主可控的训练闭环,集群训练系统性能达到行业领先水平[3] - 预训练阶段昇腾Atlas 800T A2万卡集群MFU提升至41%,后训练阶段单CloudMatrix 384超节点吞吐达35K Tokens/s[4] - 首次披露在昇腾CloudMatrix 384超节点上高效打通大稀疏比MoE强化学习后训练框架的关键技术[4] 技术挑战与解决方案 - MoE预训练和强化学习后训练存在六大挑战:并行策略配置困难、All-to-All通信瓶颈、系统负载分布不均、算子调度开销过大、训练流程管理复杂、大规模扩展受限[7][8][10][11][12][13] - 提升训练集群利用率三招:建模仿真驱动的智能并行优化、Adaptive Pipe前反向通算掩盖、EDP Balance全局动态负载均衡[15][16][17][20][22][23] - 释放昇腾单节点算力三招:昇腾亲和的训练算子加速、Host-Device协同的算子下发优化、Selective R/S精准的内存手术方案[26][28][29][30] 强化学习后训练创新 - 首次披露RL Fusion训推共卡技术,支持训练推理共卡、全共卡等多种灵活部署模式,实现RL后训练集群利用率翻倍[33][34] - 设计准异步机制StaleSync和分布式数据队列DistQueue,系统整体训练吞吐提升50%[36] - 在Pangu Ultra MoE昇腾CloudMatrix 384超节点集群后训练中实现每超节点35K Tokens/s高吞吐能力,支持高效扩展超过4K卡集群[39] 模型性能与架构 - Pangu Ultra MoE模型拥有7180亿参数,包含61层Transformer,前3层为稠密层,后58层为MoE层[38] - 模型隐层维度达7680,配备256个路由专家和1个共享专家,专家隐层维度为2048[38] - 在序列长度为8K、万卡训练集群条件下,模型算力利用率(MFU)达到41%,预计可支撑训练集群MFU>50%[38]
【东风汽车与华为战略牵手】5月29日讯,记者获悉,近日东风汽车集团有限公司与华为技术有限公司在武汉正式签署全面深化战略合作协议。双方将围绕汽车智能化、企业数字化和智能化升级、生态共建等领域开展全方位深度合作。
快讯· 2025-05-29 14:25
战略合作 - 东风汽车与华为签署全面深化战略合作协议 [1] - 合作领域包括汽车智能化、企业数字化和智能化升级、生态共建 [1] - 双方将在武汉开展全方位深度合作 [1] 合作领域 - 汽车智能化成为核心合作方向 [1] - 企业数字化和智能化升级纳入战略框架 [1] - 生态共建作为长期合作重点 [1]
震有科技: 关于获得深圳市科技进步奖二等奖的自愿性披露公告
证券之星· 2025-05-28 18:48
公司获奖情况 - 公司独立完成并申报的"分级异构通信融合与全域指挥调度关键技术创新及行业应用"项目获得2023年度深圳市科技进步奖二等奖 [1] - 奖项证书编号为2023-J-2-73-R [1] - 主要完成人包括姜坤、吴闽华、卫宣安等8人 [1] 项目技术内容 - 项目运用无线通信、卫星通信、融合通信、物联网等技术打造"互联、物联、智联"三维一体的应急管理信息化基础 [1] - 构建"先进连接、全域覆盖"的应急战术互联网实现救援现场内外和前后方立体联通 [1] - 通过"数字单兵,全域感知"多维感知体系对自然灾害、安全生产事故实现全面实时感知 [1] 技术创新点 - 解决指挥调度系统在信息共享、应急响应、任务协同等方面的瓶颈问题 [2] - 引入大数据、人工智能技术实现全域信息共享、快速响应和智能决策 [2] 应用领域 - 技术已广泛应用于智慧城市、政府应急、公安、消防、园区、矿山等领域 [1] 对公司影响 - 获奖是对公司技术创新实力及研发水平的充分肯定 [2] - 有助于提升公司核心技术优势和市场竞争力 [2]
请求访华后,特朗普提出2个要求,美媒察觉事情不妙,中方接受国书
搜狐财经· 2025-05-26 08:00
中美经贸关系 - 美国对中国商品加征关税导致美国进口商提高零售价格 消费者价格指数同比上涨6 2% [3] - 中国商品因不可替代性 即便加税后仍比美国本土产品便宜 最终成本转嫁给美国消费者 [3] - 特朗普2018年发起的关税战让美国消费者多支付900亿美元 显示对华极限施压策略失效 [5] 美国经济与政策 - 美国联邦债务规模突破36万亿美元 10年期美债收益率攀升至4 5%高位 [1] - 特朗普施压美联储立即降息 但美联储主席鲍威尔明确拒绝 因2026年中期选举压力 [3] - 穆迪将美国主权信用评级下调至Aa1 反映经济政策困境 [3] 中国应对策略 - 中国连续多月减持美债 若持续将冲击美元信用体系 [1] - 中国对中重稀土出口管制导致美国F-47战机项目面临流产风险 [1] - 中方明确谈判底线 必须建立在相互尊重和平等互惠基础上 [5] 国际经贸合作 - 沙特40%石油出口仍输往中国 卡塔尔与中石化签订27年液化天然气长约未受特朗普访问影响 [3] - 沙特引入华为5G技术 阿联酋与中企共建AI研发中心 显示各国寻找美国之外的替代选择 [6] - 中国与海湾国家 东南亚的深度合作持续推进 增强经贸韧性 [8] 美国外交与商业施压 - 特朗普施压沃尔玛不得转嫁关税成本 试图缓解国内通胀压力 [1][3] - 新任驻华大使庞德伟鹰派底色未变 首条公开声明强调"推进美国利益"而非促进双边关系稳定 [5] - 特朗普中东之行宣称带回8000亿美元"投资承诺" 但实际可执行协议寥寥无几 沙特6000亿美元合作中仅1420亿为确定军购订单 [3]