模型训练

搜索文档
中国移动山东公司及总公司申请模型训练与问答方法专利,可得到训练完成的问答模型
金融界· 2025-05-24 12:49
专利申请 - 中国移动通信集团山东有限公司与中国移动通信集团有限公司联合申请了一项名为"模型训练方法、问答方法"的专利,公开号为CN120030353A,申请日期为2025年03月 [1] - 专利涉及多模态模型训练技术,通过模态参数平衡不同模态的贡献度,根据第一模态问题生成第二模态答案,并迭代调整参数直至模型训练完成 [1] - 技术核心包括模态参数动态调整、跨模态答案生成及预设答案比对优化模型 [1] 公司背景 - 中国移动通信集团山东有限公司成立于2000年,注册资本63418513万人民币,主营电信、广播电视和卫星传输服务,注册地位于济南市 [2] - 该公司对外投资1家企业,参与招投标5000次,持有商标21条、专利617条、行政许可18个 [2] - 中国移动通信集团有限公司成立于1999年,注册资本30000000万人民币,注册地位于北京市,同属电信服务行业 [2] - 集团公司对外投资51家企业,参与招投标5000次,持有商标2205条、专利5000条、行政许可51个 [2]
广东:对在游戏科技领域取得显著突破的优质项目,给予最高500万元的一次性扶持奖励
快讯· 2025-05-22 14:47
广东出台《关于推动广东网络游戏产业高质量发展的若干政策措施》。鼓励企业围绕游戏领域"卡脖 子"技术开展研发,支持人工智能等前沿科技在游戏研发中的运用,支持游戏先进技术向其他领域转化 应用。重点对虚拟引擎研发、游戏大模型训练、算力效率提升、先进技术转化、数据安全保障等领域进 行支持。鼓励企业与高校、科研机构建立实验室开展联合攻关。省级统筹资金,经公开评选公示,对在 游戏科技领域取得显著突破的优质项目,给予最高500万元的一次性扶持奖励。 ...
全新GPU高速互联设计,为大模型训练降本增效!北大/阶跃/曦智提出新一代高带宽域架构
量子位· 2025-05-19 12:37
大模型分布式训练技术 - 随着大模型参数规模扩大,分布式训练成为AI发展的中心技术路径[1] - 高带宽域(HBD)设计对提升大模型训练效率至关重要[2] - 张量并行和专家并行需依赖HBD提供Tbps级带宽支持[6] 现有HBD架构的局限性 - 以交换机为中心的HBD(如NVIDIA NVL-72)成本高昂且不易扩展[3][8] - 以GPU为中心的HBD(如Google TPUv3)存在严重的故障传播问题[3][12] - 交换机-GPU混合HBD(如TPUv4)在成本和容错方面仍不理想[3][18] InfiniteHBD创新架构 - 采用以光交换模组为中心的HBD架构,单位成本仅为NVL-72的31%[4] - 通过OCS技术实现节点级故障隔离,GPU浪费率接近零[4][59] - 与NVIDIA DGX相比,MFU最高提升3.37倍[4][63] 关键技术突破 - 基于硅光子技术的OCS光电转换模组(OCSTrx),支持800Gbps带宽[30][31] - 可重配置的K-Hop Ring拓扑,支持动态构建任意大小的GPU粒度环[36][39] - HBD-DCN编排算法将跨ToR流量降低5.8倍[69] 性能优势 - 互连成本仅为NVL-72的31%、TPUv4的63%[74] - 能耗为NVL-72的75%,与TPUv4持平[74] - 在Llama3.1和GPT-MoE 1.1T训练中表现优异[62][64] 行业合作 - 阶跃星辰作为通用大模型创业公司参与研发[77] - 曦智科技作为光电混合算力提供商支持技术创新[77] - 上海智能算力科技正在筹备相关集群建设[77]
首程控股20250518
2025-05-18 23:48
纪要涉及的公司 首程控股 纪要提到的核心观点和论据 - **业绩表现**:2025年一季度收入3.52亿港元,与去年同期基本持平,归母净利润2.13亿港元,同比增幅达80%,增长主要来源于投资收益;资产运营收入2.58亿港元,同比增长27%,主要来自停车和园区板块,停车板块新投入机场项目、停车费上涨及广告业务促进收入增长[2][3] - **资产融通**:收入0.94亿港元,完成与上海宝山区、成都武侯区成立区域基金,与中国人寿成立100亿产业引导基金,扩大基金管理规模;布局机器人领域,管理多项投资[4][5] - **充电加停车业务**:创新业务提高公司收入和被投企业知名度;采取多种参与模式,注重核心城市核心地段,确保盈利能力,目前选择能盈利的场站布局[7][9] - **机器人投资规划**:2024年开始投资机器人领域,已投资16个标的,集中于机器人本体;2025年将加大对零部件环节投资,强调投后赋能[10] - **低空飞行器规划**:关注低空飞行器及相关技术,结合停车综合体建设经验,与省市探讨并试点项目管理,为其发展提供支持[4][11] - **机器人公司业务进展**:2025年2月成立,主营销售代理、租赁业务、供应链管理和行业咨询;医疗领域获三级证书,租赁业务已展开,展览展示商业化领先,市政、医疗、教育方向有规划,2025年希望贡献营收和净利润[12] - **租赁业务毛利率**:各细分市场波动大,目前难提供固定毛利率,随行业成熟、产品定制化和商业化进程加快,未来预计逐步提高[16][17] - **机器人领域战略布局和财务表现**:2024年初战略转型,2025年一季度财务数据有成果体现但不明显,预计后续报告数据更多;坚持投资和产业化并举,传统业务与机器人业务契合,计划塑造ETF机器人基金[19] - **大模型训练及商业化应用**:成立机器人科技产业公司,提供场景采集数据、更新迭代产品;投资的资产可作应用落地场景;通过二次开发大模型实现垂类场景应用落地,贡献收入和利润[20][21] - **公司定位和分红计划**:定位为具备成长性且高分红的公司,延续到2027年不低于80%归母净利润派息计划,让投资人共享高成长收益与稳定分红[22] 其他重要但是可能被忽略的内容 - 2025年计划在停车板块进军产权车位市场,以应对房地产市场K型分化时期[6] - 市属园林机器人运营规模需先预选型,根据需求采购或租赁,简单功能机器人适合租赁,目前无具体测算数据[13][14] - 首程控股未直接运营园林业务,协助机器人进入北京市属园林,首批约100个,每个用材林可能需1到3个机器人[15] - 目前租赁业务涉及机器人品牌数量未公开,将通过公告等方式公布进展[18] - 一些国内外本土企业具备小批量量产条件,首程控股提供真实数据采集环境可加速垂直细分场景大模型训练进度,推动商业化落地[22][23]
梁文锋署名DeepSeek新论文:公开V3大模型降本方法
量子位· 2025-05-15 16:37
金磊 不圆 发自 凹非寺 量子位 | 公众号 QbitAI 梁文锋 亲自参与的 DeepSeek最新论文 ,来了! 这一次,团队把DeepSeek-V3在训练和推理过程中,如何解决 "硬件瓶颈" 的方法公布了出来。 具体而言,DeepSeek-V3之所以可以只用2048块H800,就能达到超大规模集群(如数万块GPU)相当的训练效果,核心在于 四项创新技术 内存优化 多头潜在注意力(MLA) 那么这四项优化具体又是如何起到作用的,我们继续往下看。 软硬件协同的优化设计 在训练大模型这条路上,可以说一直有"三座大山"在占道。 首先就是 内存不够用 。 现在的大语言模型(比如GPT、Llama)变得越来越庞大,需要的存储空间激增。特别是它们使用的"注意力机制"会产生大量临时数据(KV Cache),占用大量显卡内存。 : 计算优化 混合专家模型(MoE)与FP8低精度训练 通信优化 多层网络拓扑与低延迟设计 推理加速 多token预测(MTP) 但高性能显存的容量增长太慢了,每年才增加不到50%,远远跟不上需求。 其次是 计算效率低 。 训练超大规模模型需要海量计算资源,传统 "稠密模型"(如 Llama-3)每 ...
科海观澜/AI为调查监测注入强劲科技动能
中国自然资源报· 2025-05-13 11:43
AI技术在自然资源调查监测中的应用 - "国土调查云"新增AI地物识别功能 可精准识别具体树种如白桦 榆树 连翘等 显著提升林地 草原 湿地等精细化调查水平 [1] - AI技术已融入政务应用 实景三维 铁塔视频等自然资源业务场景 在数据提取 外业核实 成果分析等全流程发挥作用 [2] - 通过高分辨率影像数据库和遥感智能解译实现监测图斑自动提取 结合标准样本训练持续优化解译精度 [2] - AI辅助人工判读林木覆盖度 道路宽度 工业用地分类等地类判定 减少30%人工工作量 [2] 自然资源调查监测技术演进 - 调查模式从纸质资料→平板电脑→智能手机实现"掌上"调查监测 技术迭代显著提升效率 [3] - 江苏省地理信息中心建立省市县三级联动地图更新机制 成图时间从1个月缩短至4小时 提升应急决策效率 [10] 海洋防灾减灾技术升级 - 2015-2024年中国累计发生213次海洋灾害 造成直接经济损失549亿元 需构建"空天地海一体化"监测网络 [5] - 利用遥感卫星 无人机 大数据 云计算等技术研发精细化海潮倒灌预警模型 提升沿岸灾害风险预警能力 [6] 农村经济多元化发展 - 湖南桂东县"村厨大赛"促成1.56亿元农产品订单 "村字头IP"推动农业向文化创意 绿色产业等方向转型 [11] - 通过赛事场景将农户 合作社 企业编织成增值网络 实现三产融合创新 [12]
我市召开全市数字政府2.0建设动员部署会暨第一次工作例会
杭州日报· 2025-05-13 09:21
数字政府2.0建设目标 - 以数字政府建设提高政府行政效能和运行效率,提升超大城市治理体系和治理能力现代化水平 [1] - 围绕政府履职更高效、便民惠企更有感、基层减负更显著、应用场景更智能、数据价值更释放、系统建运更节约的目标 [1] - 坚持"系统谋划、稳慎推进,实战实效、好用管用,集约节约、综合集成,安全可靠、自主可控"的原则 [1] 数字政府2.0建设重点领域 - 聚焦集约化,强化项目建设统筹管理,探索政务应用系统集约运维改革,建立动态评估监管机制 [2] - 聚焦实战化,全面承接用好省建应用,迭代优化一批、谋划新建一批特色应用 [2] - 聚焦智能化,启动城市大脑GPT、"数智公务员"建设,打响全国首个政务模型训练场"金字招牌" [2] - 聚焦产业化,形成可复制可推广的杭州典型应用、终端产品、技术体系、运维经验,探索数据要素资源化资产化的杭州模式 [2] - 聚焦国产化,构筑数智安全防护"免疫体系" [2] 数字政府2.0建设实施保障 - 依托杭州数字经济、数字技术和数字化改革先发优势 [1] - 强化组织领导、责任落实、推进协同,确保数字政府2.0建设落地见效 [2]
提升大模型通信性能30% DeepSeek致谢腾讯大模型网络提速技术方案贡献
深圳商报· 2025-05-12 06:32
腾讯技术优化DeepEP通信框架 - 腾讯技术团队对DeepSeek开源的DeepEP通信框架进行深度优化 在RoCE网络环境性能提升100% 在IB网络环境提升30% [2] - 优化后的技术方案获得DeepSeek公开致谢 被称为"huge speedup"代码贡献 [2] - 该技术已应用于腾讯混元大模型等项目的训练推理 在腾讯星脉与H20服务器构建的高性能环境中展现卓越通用性 [3] DeepEP通信框架原始性能 - DeepSeek开源DeepEP在内的五大代码库 展示如何利用有限硬件资源实现接近万卡集群性能 [2] - DeepEP凭借突破性方法提升300%通信效率 成功解决MoE架构大模型对英伟达NCCL的依赖问题 [2] - 原始技术在RoCE网络环境中表现不佳 限制了更广泛场景的应用 [2] 腾讯优化关键技术突破 - 通过拓扑感知的多QP建链技术 智能分配数据流 优化双端口网卡带宽利用率 避免带宽浪费 [3] - 基于IBGDA技术优化 解决GPU通信中CPU控制瓶颈问题 降低延迟和能耗 [3] - 提出"QP内时序锁"机制 使多个GPU间数据传输能精准按顺序完成 即使同时处理1000多个任务也能自动理顺顺序 [3] 技术应用与行业影响 - 腾讯优化使DeepEP在RoCE网络性能翻倍 反哺IB网络时通信效率再提升30% [3] - 该技术已全面开源 为AI大模型训练提供更高效解决方案 [2][3]
电子行业跟踪周报:架构级创新,华为UBMesh直击大模型训练的“通信墙”与成本痛点-20250511
东吴证券· 2025-05-11 22:05
报告行业投资评级 - 增持(维持) [1] 报告的核心观点 - 面向AI训练集群诉求华为推出UB Mesh架构 其采用nD - FullMesh拓扑结构 降低信号传输开销和成本 提高系统可靠性 且通过统一总线实现多组件互连与资源动态池化 [6] - UB Mesh机架架构以单机柜64个NPU为核心 可形成4D层级互连和8000卡规模的集群 满足大规模LLM训练需求 [2] - 相同训练基准下 UB Mesh较Clos实现2.04倍的成本效益提升 降低网络基础设施成本和运营成本 [3] - 芯片及网络架构创新持续推进 昇腾有望推动产业链相关公司业绩及估值双升 获得国内算力芯片较大市场份额 打开国产AI服务器零部件成长空间 [7] 根据相关目录分别进行总结 UB Mesh架构介绍 - UB Mesh是全新AI数据中心网络架构 采用nD - FullMesh拓扑结构 从单板内1D全连接扩展至跨机柜的4D/5D拓扑 多数传输0 - 2跳内完成 降低信号传输开销 且最大限度利用短距离直接互连 降低成本和提高可靠性 [6] - UB Mesh主要组件通过统一总线Unified Bus连接 NPU和CPU配备UB IO控制器 还提供低基数和高基数交换机 实现多组件互连与资源动态池化 消除协议转换需要 降低开销 [6] UB Mesh机架架构 - UB Mesh机架架构以单机柜64个NPU为核心 机架内8个NPU板各集成8个NPU形成2D FullMesh互连 CPU独立部署 可实现CPU/NPU比例灵活调整及资源池化 机架间通过低基数交换机聚合接口 形成4D层级互连 四机架构成Pod后总规模达1024个NPU 还可构建8000卡规模的集群 [2] UB Mesh性能与成本效益 - 相同训练基准下 机架内2D - FM架构与Clos架构训练性能差距在7%以内 硬件成本低 机架间互连性能与Clos架构几乎相同 且可调整带宽比例匹配特定需求 [3] - 从系统全生命周期成本看 UB Mesh将网络基础设施成本比例从67%降至20% 节省98%的高性能交换机和93%的光模块 运营成本降低35% 较Clos实现2.04倍的成本效益提升 [3] 昇腾相关情况 - 华为正筹备昇腾920系列芯片 基于中芯国际6nm工艺打造 单卡算力超900TFlops(BF16) 内存升级到HBM3 单卡提供400GB/s带宽 [7] - 华为CloudMatrix 384超节点提供300PFlops的密集BF16计算能力 硅基流动基于该超节点及SiliconLLM运行的DeepSeek - R1单卡Decode吞吐突破1920 Tokens/s 比肩H100部署性能 [7] - 在国内算力需求高增 海外算力芯片供应不稳定背景下 昇腾有望获得国内算力芯片较大市场份额 打开国产AI服务器零部件成长空间 [7] 产业链相关公司 - 中芯国际、华丰科技、南亚新材、芯碁微装、深南电路、兴森科技、欧陆通 [7]