Workflow
NeuralCache
icon
搜索文档
存储供应商,陷入困境
半导体行业观察· 2025-05-28 09:36
人工智能对存储行业的影响 - 存储供应商面临的最大挑战是如何存储数据并使其可供人工智能代理和模型快速访问,这需要构建高效的人工智能数据管道 [1] - 人工智能在存储管理中的应用已较为成熟,可提升管理员效率并增强网络安全,但存储AI数据以支持模型和代理的高效访问仍是关键难题 [1] 存储硬件和软件供应商的技术应对 - 基础存储供应商普遍采用Nvidia GPUDirect支持,最初仅限文件传输,现已扩展至通过RDMA传输S3对象,其他GPU或AI加速器硬件供应商尚无等效服务 [3] - 数据从原始形式逐步转换为AI模型可用的数据集和格式,涉及非结构化文件和对象数据的向量嵌入,存储介质包括磁盘或SSD,管理软件可能涉及存储阵列控制器、数据库、数据湖或矢量存储 [3] - VAST Data构建了完整的AI管道,支持矢量数据库、实时数据提取、事件处理及AI代理构建,与Qumulo仅通过NeuralCache增强内部运营的立场形成鲜明对比 [5] 主流存储供应商的GPUDirect支持情况 - Cloudian、Dell、DDN、Hammerspace、Hitachi Vantara、HPE、IBM、MinIO、NetApp、Pure Storage、Scality和VAST均支持文件和对象的GPUDirect,但多产品供应商(如Dell、HPE)的支持可能不统一 [8] - Dell、DDN、Hitachi Vantara、HPE、华为、IBM、NetApp、Pure Storage和VAST已获得Nvidia BasePOD和SuperPOD GPU服务器系统认证 [9] - Dell、DDN、Hitachi Vantara、HPE、NetApp、Pure和VAST进一步集成Nvidia Enterprise AI软件,包括NIM、NeMo检索器微服务、Llama Nemotron模型和NIXL例程 [9] 高级AI集成与KV缓存技术 - VAST提供完整的数据准备、AI模型支持及代理开发环境,Dell、Hitachi Vantara和HPE通过合作伙伴向类似方向迈进,其他供应商因缺乏关键AI堆栈组件而难以跟进 [10] - KV缓存技术通过将逐出的键值数据存储在GPU服务器的直接连接存储或RDMA可访问的外部存储中,以缩短模型响应时间,Hammerspace、VAST Data和WEKA支持Nvidia GPU服务器的KV缓存卸载 [11] 云文件服务与数据管理供应商的AI布局 - 云文件服务供应商(CTERA、Egnyte、Nasuni、Panzura)需通过AI数据管道支持GPU系统推理,但尚未明确是否支持GPUDirect或与Nvidia合作开发边缘AI框架 [12] - 数据管理与编排供应商(Arcitecta、Datadobi、Data Dynamics等)专注于AI数据管道中的数据选择与移动,但除Hammerspace外,其他供应商与Nvidia的合作有限 [12] 多存储环境下的AI数据整合挑战 - 备份和存档数据由独立供应商控制,导致AI数据管道分散,存储系统供应商难以整合,备份供应商因不愿开放API而加剧了这一难题 [13] - 大型组织可能通过精简存储供应商名单来解决多源数据(本地存储、公共云、备份、档案等)难以统一供AI模型访问的问题 [14]