GPUd

搜索文档
存储供应商,陷入困境
半导体行业观察· 2025-05-28 09:36
人工智能对存储行业的影响 - 存储供应商面临的最大挑战是如何存储数据并使其可供人工智能代理和模型快速访问,这需要构建高效的人工智能数据管道 [1] - 人工智能在存储管理中的应用已较为成熟,可提升管理员效率并增强网络安全,但存储AI数据以支持模型和代理的高效访问仍是关键难题 [1] 存储硬件和软件供应商的技术应对 - 基础存储供应商普遍采用Nvidia GPUDirect支持,最初仅限文件传输,现已扩展至通过RDMA传输S3对象,其他GPU或AI加速器硬件供应商尚无等效服务 [3] - 数据从原始形式逐步转换为AI模型可用的数据集和格式,涉及非结构化文件和对象数据的向量嵌入,存储介质包括磁盘或SSD,管理软件可能涉及存储阵列控制器、数据库、数据湖或矢量存储 [3] - VAST Data构建了完整的AI管道,支持矢量数据库、实时数据提取、事件处理及AI代理构建,与Qumulo仅通过NeuralCache增强内部运营的立场形成鲜明对比 [5] 主流存储供应商的GPUDirect支持情况 - Cloudian、Dell、DDN、Hammerspace、Hitachi Vantara、HPE、IBM、MinIO、NetApp、Pure Storage、Scality和VAST均支持文件和对象的GPUDirect,但多产品供应商(如Dell、HPE)的支持可能不统一 [8] - Dell、DDN、Hitachi Vantara、HPE、华为、IBM、NetApp、Pure Storage和VAST已获得Nvidia BasePOD和SuperPOD GPU服务器系统认证 [9] - Dell、DDN、Hitachi Vantara、HPE、NetApp、Pure和VAST进一步集成Nvidia Enterprise AI软件,包括NIM、NeMo检索器微服务、Llama Nemotron模型和NIXL例程 [9] 高级AI集成与KV缓存技术 - VAST提供完整的数据准备、AI模型支持及代理开发环境,Dell、Hitachi Vantara和HPE通过合作伙伴向类似方向迈进,其他供应商因缺乏关键AI堆栈组件而难以跟进 [10] - KV缓存技术通过将逐出的键值数据存储在GPU服务器的直接连接存储或RDMA可访问的外部存储中,以缩短模型响应时间,Hammerspace、VAST Data和WEKA支持Nvidia GPU服务器的KV缓存卸载 [11] 云文件服务与数据管理供应商的AI布局 - 云文件服务供应商(CTERA、Egnyte、Nasuni、Panzura)需通过AI数据管道支持GPU系统推理,但尚未明确是否支持GPUDirect或与Nvidia合作开发边缘AI框架 [12] - 数据管理与编排供应商(Arcitecta、Datadobi、Data Dynamics等)专注于AI数据管道中的数据选择与移动,但除Hammerspace外,其他供应商与Nvidia的合作有限 [12] 多存储环境下的AI数据整合挑战 - 备份和存档数据由独立供应商控制,导致AI数据管道分散,存储系统供应商难以整合,备份供应商因不愿开放API而加剧了这一难题 [13] - 大型组织可能通过精简存储供应商名单来解决多源数据(本地存储、公共云、备份、档案等)难以统一供AI模型访问的问题 [14]
英伟达停止运营Lepton AI,贾扬清回应:不是人才收购
AI前线· 2025-04-25 11:13
Lepton AI停止运营与英伟达收购事件 - Lepton AI将于2025年5月20日正式停止运营 用户需在此之前备份数据 未使用积分将退款[2] - 官网已禁止新账户注册 官方推特账号被注销[6] - 英伟达已完成对Lepton AI数亿美元收购 创始人贾扬清及联合创始人白俊杰已加入英伟达[8] - 收购后英伟达选择关闭Lepton AI服务 表明更看重人才而非业务[10] - 贾扬清否认是人才收购 但未透露具体细节[11] Lepton AI业务与技术特点 - 公司采用AIaaS模式 通过租用GPU提供算力租赁服务 未自购GPU[15] - 主要服务包括全托管AI云平台Lepton 企业版Lepton和Python SDK[16][17][18] - 平台支持模型训练和推理 提供可视化界面配置训练集群 支持多款Nvidia显卡[19] - 具备错误检测功能 可发现神经网络内存使用异常等技术问题[20] - 推理优化实例承诺处理速度超600 token/秒 延迟控制在10毫秒内 支持自动扩展[21] - 采用开源工具vLLM加速推理 可合并相似请求减少计算量[22] 创始团队与公司发展 - 创始人贾扬清曾开发Caffe框架 联合创始人白俊杰是ONNX标准共同创始人[13][14] - 2023年3月贾扬清离开阿里云 7月创立Lepton AI 避开"百模大战"专注基础设施[15] - 团队主要位于海外 目标客户为海外企业及拓展海外市场的国内企业[16] - 公司开源了GPU监控工具GPUd 基于Meta/阿里云/Uber等大规模GPU集群经验[26] - 曾开发AI搜索引擎demo 仅用500行代码 开源项目获8.1k星[25] 行业背景与英伟达战略 - AI算力短缺催生租赁市场 北美CoreWeave和欧洲Nebius主导 均获英伟达投资[33] - Lepton AI与英伟达客户CoreWeave存在竞争关系 去年6月客户数量和营收健康增长[34] - 英伟达通过收购实现垂直整合 掌控从芯片设计到算力租赁全产业链[35][36] - 该策略可避免库存积压 保持设备持续运转盈利 挤压其他云服务商生存空间[37][38] - 黄仁勋称英伟达转型为算法和基础设施公司 构建AI工厂作为基础平台[39][40]
Lepton AI被英伟达收购后终止运营,贾扬清创业两年后回归大厂
Founder Park· 2025-04-22 21:05
Lepton AI停止运营及英伟达收购事件 - Lepton AI将于2025年5月20日正式停止运营,用户需在此前备份数据,未使用积分将退款[2] - 官网已禁止新账户注册且显示维护状态[5] - 公司官方推特账号已被注销[6] 英伟达收购细节 - 英伟达以数亿美元完成收购,创始人贾扬清及联合创始人白俊杰已加入英伟达,具体职位未披露[7] - 收购后英伟达选择关闭Lepton AI服务,表明其更看重人才而非业务[8] - 交易为投资方红杉中国、CRV和Fusion Fund提供可观退出,两年前种子轮融资额为1100万美元[8] Lepton AI业务模式与技术 - 公司采用AIaaS模式,通过租用GPU提供算力租赁及云平台服务,未自购硬件[9] - 核心产品包括优化AI工作负载的云平台,支持模型训练与推理,承诺推理速度超600 token/秒且延迟低于10毫秒[10] - 平台整合动态批处理等单点技术降低成本,开源工具vLLM用于加速推理和降低内存占用[12] 创始团队背景与行业定位 - 创始人贾扬清(Caffe框架创始人)和白俊杰(ONNX标准共同创始人)均为PyTorch开发者,曾任职Meta、阿里云[9] - 公司定位为大模型基础设施提供商,主攻海外市场及国内企业出海需求[9][10] - 团队通过开源项目如GPUd(获8.1k GitHub星标)展示技术能力,旨在建立用户口碑[12] 英伟达战略意图与行业影响 - 收购符合英伟达垂直整合战略,从芯片制造延伸至算力租赁,强化全产业链控制[17] - 此举可能挤压亚马逊、谷歌等云服务商空间,与CoreWeave等英伟达投资企业形成竞争[17] - 黄仁勋强调公司转型为算法和基础设施平台,目标成为AI工厂直接服务客户[17] 行业趋势与竞争格局 - 算力租赁需求激增,北美CoreWeave(25万+GPU)和欧洲Nebius(2万GPU)主导市场[17] - 英伟达通过投资和收购布局算力租赁,与自研ASIC的云巨头(如微软、谷歌)竞争[17] - 行业呈现从硬件销售向综合服务转型趋势,供应链掌控力成为竞争关键[17]