文章核心观点 - 存储系统性能对大规模AI训练效率至关重要，GPU计算效率受存储性能制约 [2] - MLPerf Storage v2.0基准测试是评估AI训练存储系统表现的权威标准，重点分析共享文件系统类别 [2][6] - 在满足GPU利用率阈值前提下，存储系统能支撑的最大GPU数量是衡量其可扩展性与稳定性的关键指标 [9] - 基于以太网的存储方案在灵活性、成本效益方面具优势，而InfiniBand系统在延迟敏感型任务中性能突出 [27] MLPerf Storage v2.0测试负载 - 测试通过多客户端模拟真实AI负载，复现大规模分布式训练集群场景 [3] - 3D U-Net负载处理大体积三维医学图像顺序和并发读取，样本平均大小146 MB，考察大文件连续读取吞吐性能 [4] - ResNet-50负载属于小样本高并发随机读取，样本平均大小150 KB，对存储系统IOPS要求极高 [4] - CosmoFlow负载强调跨节点小文件并发访问和带宽扩展性，样本平均2 MB，对元数据处理和尾延迟控制要求严格 [4] - 新增Checkpointing负载模拟大模型训练中的checkpoint落盘与恢复，表现为大文件多并发顺序写负载 [5] 性能比较标准 - 核心指标为存储系统能支撑的最大GPU数量，取决于系统提供的最大聚合带宽 [9] - 采用网卡带宽利用率作为软件效率参考指标，利用率越高说明在相同硬件条件下性能性价比越高 [9] - 3D U-Net与ResNet-50的GPU利用率阈值为90%，Cosmoflow阈值为70% [9] 3D U-Net测试结果 - 大文件连续读取场景对存储系统读带宽要求较高 [11] - 基于以太网的方案中，JuiceFS支撑最多H100 GPU并维持86.6%高带宽利用率 [11] - IB网络方案硬件规格高，网络总带宽最低400 GiB/s，最高超1500 GiB/s，但带宽利用率普遍低于50% [14] CosmoFlow测试结果 - 海量小文件读取对元数据性能和读延迟性能要求极高，水平扩展困难 [16] - JuiceFS通过10个客户端支撑100张H100 GPU训练任务 [16] - IB网络系统凭借全链路极低且稳定延迟，在延迟敏感型任务中表现突出 [18] ResNet-50测试结果 - 高并发随机读负载对存储系统IOPS要求极高 [21] - JuiceFS在基于以太网方案中支撑最多500张H100 GPU，网络带宽利用率达72%，远超其他产品约40%的水平 [21] - IB网络方案凭借更高总带宽和IOPS，在支持GPU数量和吞吐带宽上成绩显著 [24] 存储方案类别比较 - 共享文件系统细分为基于以太网系统（如Alluxio、JuiceFS、Oracle）和基于IB网络解决方案（如DDN、Hewlett Packard） [7] - 以太网方案依赖以太网环境提供分布式存储，部分厂商采用RoCE以太网方案配置高带宽网卡 [7] - IB网络方案提供完整存储软硬一体机，硬件配置高成本高，但提供极高带宽和性能上限 [7]