ModelEngine
搜索文档
对标英伟达 华为开源AI容器技术Flex:ai 它可使算力平均利用率提升30%
每日经济新闻· 2025-11-21 23:08
行业背景与问题 - AI产业高速发展催生海量算力需求,但全球算力资源利用率偏低问题凸显,表现为小模型任务独占整卡导致资源闲置、大模型任务单机算力不足、大量通用服务器算力处于"休眠"状态 [1] - 供需错配造成资源浪费成为产业发展的关键桎梏 [1] 华为Flex:ai技术发布与特点 - 华为公司副总裁周跃峰在2025AI容器应用落地与发展论坛上发布AI容器技术Flex:ai [1] - Flex:ai通过算力切分技术将单张GPU/NPU算力卡切分为多份虚拟算力单元,切分粒度精准至10% [1] - 该技术实现单卡同时承载多个AI工作负载,在无法充分利用整卡算力的场景下,算力资源平均利用率可提升30% [1] - 在先进制程受限、单颗AI芯片性能与国外存在差距的现实中,Flex:ai延续了华为"以软件补硬件"的发展路径 [1] 与竞争对手Run:ai的对比 - 华为Flex:ai对标英伟达2024年底收购的以色列公司Run:ai [2] - Run:ai核心产品是基于Kubernetes的软件平台,可通过动态调度、池化和分片优化GPU资源使用,例如帮助Wayve公司将GPU集群效率从不足25%提升到80%以上 [2] - Flex:ai同样聚焦于通过软件创新实现对英伟达、昇腾等第三方算力的统一管理与调度,屏蔽底层硬件差异 [2] - 相比Run:ai主要服务于英伟达GPU生态,Flex:ai没有生态限制,支持英伟达GPU和华为昇腾NPU等算力卡 [2] 技术应用验证与行业趋势 - Flex:ai能力在瑞金医院联合打造的多模态病理大模型"RuiPath"中得到验证,该模型基于103万张病理切片数据训练,仅用16张昇腾910B算力卡完成大规模训练 [3] - Flex:ai通过算力资源切分、智能任务调度等技术,将XPU资源可用度从40%提升至70% [3] - Gartner预测到2027年,75%以上的AI工作负载将采用容器技术进行部署和运行 [3] 开源策略与生态建设 - Flex:ai将在发布后同步开源在魔擎社区中 [3] - 该技术将与华为此前开源的多款AI工具共同组成完整的ModelEngine开源生态 [3]
见证历史!华为 重大发布
中国基金报· 2025-11-21 17:49
核心技术特性 - 基于Kubernetes构建的XPU池化与调度软件,可将AI工作负载场景下的算力资源平均利用率提升30% [1] - 具备算力资源切分、多级智能调度、跨节点算力资源聚合三方面关键能力 [3] - 算力资源切分粒度精准至10%,实现单张GPU/NPU算力卡同时承载多个AI工作负载 [4] 核心竞争优势 - 相比英伟达Run:ai,具备虚拟化与智能调度两大独特优势 [5] - 虚拟化技术包括本地虚拟化和独有的“拉远虚拟化”技术,可将集群内各节点空闲XPU算力聚合形成共享算力池 [5] - 智能调度技术可自动感知集群负载与资源状态,结合AI工作负载优先级等多维参数进行全局最优调度 [5] 行业影响与定位 - 容器技术作为轻量级虚拟化技术,预计到2027年75%以上的AI工作负载将采用容器技术进行部署和运行 [3] - 技术是能够让AI行业化落地的重要工具之一,可提供提升算力资源利用率的基础能力并与业界结合行业场景完成落地探索 [1][9] - 开源有助于推动异构算力虚拟化与AI应用平台对接的标准构建,形成算力高效利用的标准化解决方案 [9] 生态战略布局 - 发布后同步开源至魔擎社区,旨在构建完整的ModelEngine开源生态 [1][6] - ModelEngine开源生态包含Nexent智能体框架、AppEngine应用编排、DataMate数据工程、UCM推理记忆数据管理器等AI工具 [6] - ModelEngine作为大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型部署的一站式服务 [6]
见证历史!华为,重大发布
中国基金报· 2025-11-21 17:42
核心观点 - 华为发布并开源AI容器技术Flex:ai 旨在通过提升算力资源利用率与构建开源生态 推动AI技术在各行业的普及和落地 [1][2][9] 技术定位与行业背景 - Flex:ai是一款基于Kubernetes构建的XPU池化与调度软件 定位为AI时代的容器技术 [1][2] - 容器技术可将模型代码、运行环境打包成独立镜像 实现跨平台无缝迁移 解决部署环境配置痛点 [2] - 预计到2027年 75%以上的AI工作负载将采用容器技术进行部署和运行 [2] - 传统容器技术已无法完全满足AI工作负载需求 行业需要专用的AI容器技术 [2] 核心能力与性能提升 - Flex:ai可将AI工作负载场景下的算力资源平均利用率提升30% [1] - 其关键能力包括算力资源切分、多级智能调度、跨节点算力资源聚合 [2] - 算力资源切分可将单张GPU/NPU卡切分为多份虚拟算力单元 切分粒度精准至10% 实现单卡同时承载多个AI负载 [3] - 通过智能调度技术 实现对AI工作负载与算力资源的精准匹配 [2] 竞争优势与技术创新 - 相比英伟达Run:ai 该技术具备虚拟化和智能调度两大独特优势 [5][6] - 虚拟化优势包括本地虚拟化切分和独有的“拉远虚拟化”技术 可将集群内各节点空闲XPU算力聚合形成“共享算力池” [5] - 拉远虚拟化技术使不具备智能计算能力的通用服务器 可通过高速网络将AI负载转发到远端资源池执行 实现通用算力与智能算力融合 [5] - 智能调度可自动感知集群负载与资源状态 结合负载优先级等多维参数 进行全局最优调度 [6] - 在资源占满情况下 该技术能直接抢占其他任务资源 确保高优先级任务完成 [6] 开源战略与生态构建 - 公司将Flex:ai同步开源至魔擎社区 旨在加速AI技术平民化并构建完整的ModelEngine开源生态 [1][7][9] - ModelEngine开源生态包含Nexent智能体框架、AppEngine、DataMate、UCM等AI工具 提供从数据预处理到模型部署的一站式服务 [7] - 开源Flex:ai可提供提升算力利用率的基础能力及优秀实践案例 与业界共同探索行业场景落地 [9] - 通过产学研开发者参与 共同推动异构算力虚拟化与AI应用平台对接的标准构建 形成算力高效利用的标准化解决方案 [9]
见证历史!华为,重大发布
中国基金报· 2025-11-21 17:33
核心观点 - 华为发布AI容器技术Flex:ai,可将AI工作负载场景下的算力资源平均利用率提升30% [2] - 该技术将同步开源至魔擎社区,旨在构建完整的ModelEngine开源生态并加速AI行业化落地 [2][18] 技术定位与行业背景 - 在大模型时代,容器技术与AI是天然搭档,可将模型代码、运行环境打包成独立镜像,实现跨平台无缝迁移 [5] - 第三方机构数据显示,预计到2027年,75%以上的AI工作负载将采用容器技术进行部署和运行 [6] - 传统容器技术已无法完全满足AI工作负载需求,AI时代需要专用的AI容器技术 [6] 关键能力 - Flex:ai具备三大关键能力:算力资源切分、多级智能调度、跨节点算力资源聚合 [7] - 在算力资源切分方面,可将单张GPU/NPU算力卡切分为多份虚拟算力单元,切分粒度精准至10%,实现单卡同时承载多个AI工作负载 [7] - 通过智能调度技术,可自动感知集群负载与资源状态,结合工作负载优先级、算力需求等参数,进行全局最优调度 [11] 核心优势 - 相比英伟达Run:ai,Flex:ai具备两大独特优势:虚拟化与智能调度 [11] - 独有的"拉远虚拟化"技术可将集群内各节点的空闲XPU算力聚合形成"共享算力池",为高算力需求工作负载提供支撑 [11] - 智能调度技术可确保高优先级任务获得更高性能算力支持,在资源占满时可抢占其他任务资源以保障最重要任务完成 [12] 生态构建与行业影响 - Flex:ai的开源将助力华为构建完整的ModelEngine开源生态,该生态包含Nexent智能体框架、AppEngine、DataMate、UCM等AI工具 [15] - 开源的Flex:ai可提供提升算力资源利用率的基础能力及优秀实践案例,与业界共同探索行业场景落地 [18] - 通过产学研开发者参与,共同推动异构算力虚拟化与AI应用平台对接的标准构建,形成算力高效利用的标准化解决方案 [18]
提升中国病理诊断水平,瑞金医院联合华为开源病理大模型
观察者网· 2025-07-06 13:15
行业现状与痛点 - 中国病理医生日均工作量达300多张病理切片,是欧美医生(50张左右)的5-6倍,易导致漏诊误诊 [1] - 中国病理医生总数不足2万,行业缺口高达14万,成为医院重大挑战 [5] - 传统病理诊断流程需医生逐个完成皮肤侵犯检测、乳头侵犯检测等步骤,效率低下 [2] RuiPath病理模型技术突破 - 模型覆盖中国每年90%全癌种发病数的19个常见癌种,涵盖上百个辅助诊断任务 [1] - 在14个辅助诊断任务测试中,7个达到业界领先水平(SOTA),超越哈佛大学UNI模型(6个SOTA) [4] - 采用华为ModelEngine工具链,标注效率从10-20分钟/张提升至700张/天,单病种AI应用上线周期从10天缩短至2天 [10] - 仅用16卡GPU集群完成开发部署,突破传统大模型高成本瓶颈 [10] 模型应用价值 - 医生诊断模式转变为"Copilot"模式,从手动筛查转为AI结果确认,日均处理量从200-300张提升至400-500张 [2][5] - 通过AUC/ACC/F1 Score等指标确保诊断精准度,同时解决效率与准确率问题 [5] - 开源配套7大癌种测试数据集(肺癌/结直肠癌/甲状腺癌/胃癌/乳腺癌/前列腺癌/胰腺癌)及工具指南 [4][5] 合作研发历程 - 华为与瑞金医院三年合作分两阶段:数字化阶段实现45%存储空间节省的CSP统一格式,积累百万级数字病理数据 [7] - 智慧化阶段由华为天才少年团队入驻,通过"医生+AI工程师"模式完成模型蒸馏与精调,实现端到端落地 [8] - 华为提供全流程技术支持,包括云网边端协同、算存网协同优化等核心技术 [7][10] 行业标准化推动 - 开源百万张高质量数字病理切片特征数据,其他医院可直接部署或低成本增量训练 [5] - 目标建立中国数字病理统一标准,实现跨医院模型无缝对接 [5] - 通过《数字化智慧病理科建设白皮书》推动行业规范化建设 [7]
瑞金医院与华为开源RuiPath病理模型,为医疗AI发展按下“加速键”
环球网· 2025-07-03 15:06
AI+医疗行业市场发展 - 2023年中国AI+医疗市场规模达315亿元,预计2025年突破800亿元,年复合增长率58.3% [1] - 全球AI+医疗市场规模预计2030年突破1.5万亿美元,药物研发、影像诊断、健康管理三大板块占比超60% [1] - 医疗行业对AI技术需求迫切,瑞金医院与华为联合开源RuiPath病理模型引发行业关注 [1] 病理诊断行业现状 - 病理诊断是疾病诊断的"金标准",传统流程耗时3-10天,对医生经验要求极高 [2] - 中国病理医生数量短缺且分布不均,基层医院初诊符合率低,加剧医疗资源分配不平衡 [2] - 数字化智慧病理被视为突破困局的关键,病理大模型成为发展焦点 [3] RuiPath病理大模型技术 - RuiPath是临床级多模态病理大模型,覆盖中国90%全癌种发病的19个常见癌种 [3] - 视觉基础模型依托百万张高质量数字病理切片数据,在14个辅助诊断任务测试中7个达到SOTA水平 [3] - 开源内容包含视觉基础模型架构、7大癌种测试数据集及完整实践指南 [4] 开源举措的行业影响 - 大幅降低基层医院部署病理AI门槛,实现优质医疗资源下沉 [4] - 启动全球多中心计划,联合12家医疗机构推动模型迭代与标准化 [5] - 通过多中心协作解决偏远地区医疗资源匮乏问题,建立统一质控流程 [5] 华为与瑞金医院合作历程 - 2022年双方就病理科电子数据处理展开深入探讨 [6] - 2023年联合发布《数字化智慧病理科建设白皮书》,统一数字病理格式 [6] - 2025年积累百万规模高质量数字化病理数据,进入智慧化阶段 [6] 技术创新与效率提升 - "医生+AI工程师"协作模式创新性采用模型蒸馏等技术,实现端到端大模型落地 [6] - ModelEngine工具链使单病种AI应用上线周期从10天缩短至2天,效率提升80% [7] - 医生工作模式从"标注工"转变为"审核官",工作效率数倍提升 [7] 医疗AI发展倡议 - 推进医疗数据集标准化和管理运营,确保数据质量 [11] - 构建可共享的智能诊疗数据基础设施平台,打通数据孤岛 [11] - 促进数据工程、模型工程技术标准化,探索合理商业模式 [11] 行业长期展望 - 开源模型将提升基层医院诊断水平,缓解医疗资源不均问题 [12] - 合作模式为医疗AI发展提供经验,吸引更多机构参与研发 [12] - 医疗AI有望在早期诊断、个性化治疗、药物研发等领域发挥更大作用 [12]