Workflow
GPU utilization optimization
icon
搜索文档
Beyond Copper: Fabric.AI and Kopin Model Up to 60% Increase in GPU Utilization in a Neural I/o™-Powered Data Center
Globenewswire· 2026-10-19 20:30
文章核心观点 - Fabric.AI与Kopin联合发布白皮书,提出用MicroLED光互连替代AI数据中心内的铜线互连,以突破铜互连的距离限制 [1][2] - 当前AI GPU因铜互连限制,闲置时间高达一半至三分之二 [1][3] - Neural I/o™光互连设计目标是将互连能耗降低约80%,并将单跳AI pod从72个GPU扩展至约1000个GPU [1] - 公开技术演示计划于2027年1月进行,第一代量产硅目标为2028年 [1][8] 铜互连的物理限制与当前系统瓶颈 - 在200 Gbps速率下,铜链路传输距离仅约一米,该距离将紧密连接的AI计算域限制在单机架72个GPU [3] - 一个10000-GPU集群因此约为139个独立域,通过较慢网络连接,跨机架流量面临4至8倍的带宽下降 [3] - 前沿规模密集训练典型模型FLOPs利用率为35%至45%,混合专家训练为20%至35%,意味着最昂贵机器有一半至三分之二周期处于闲置,其中很大一部分损失可归因于互连 [3] Neural I/o™技术方案 - Neural I/o采用与行业追求更快串行通道相反的方法:不使用少数极高速通道,而是使用数千个中等速度通道 [4] - 在约1平方毫米的芯片上集成2025个物理光通道,每个通道速率2 Gbps,其中1600个通道承载3.2 Tbps有效载荷,425个通道保留用于冗余和边带功能 [4] - 链路由MicroLED、图像传感器衍生接收器和模塑塑料光学元件构成,设计运行能耗约为1皮焦耳每比特,而铜和SerDes为4至6皮焦耳每比特 [4] - 高带宽传输距离从约一米扩展至数十米 [4] 关键发现 - 对于10000-GPU系统,该架构建模可将密集模型训练利用率从当前典型的35%至45%提升至约50%至60%,每GPU提供1.3至1.6倍的有效训练吞吐量 [5] - 性能提升来自减少通信、同步和可靠性损失,而非来自更快的GPU [5] - 由于传输距离以数十米计,交换机可移出计算机架至行中央,单跳计算域可从72个GPU增长至约576至1152个GPU [5] - 当前机架后部的铜缆墙被稀疏光纤走线和托盘间自由空间光链路取代 [5] - 425个备用通道(为制造良率而设)成为平台:阵列上的纠删码使链路可静默吸收单个通道故障,无检测事件或中断 [5][6] - 专用光屏障网络建模可在远低于一微秒内确定性同步1000-GPU行,消除随集群规模增长的同步成本 [6] - 相同通道可分配精确时序、承载控制和遥测流量,并让互连结构监控自身健康 [6] 能源与部署优势 - 在约1皮焦耳每比特下,设计目标为消除约75%至83%的互连能耗,以及冷却厂原本需移除的热量 [13] - 由于传输距离不再决定密度,运营商可分散计算、扩展风冷,并部署在无法承载120千瓦液冷机架的现有建筑中 [13] 长期愿景:建筑级AI - 白皮书长期“Cube”概念建模约100000个GPU,组织为约100行、每行约1000个GPU,通过光脊柱连接,跨建筑延迟约一微秒 [13] - 建模显示1.3至1.6倍的每GPU增益可在该规模下保持,而当今利用率损失通常随规模增长 [13] 白皮书提出的六项必要条件 - 交换机硅原生接受数千个并行光通道 [7] - 通过开放硬件生态系统获取GPU和加速器封装 [7] - 编码每通道速度的表征 [7] - 现场可保持的微米级光学对准 [7] - 用于建筑级传输的低损耗玻璃 [7] - 领先于竞争方法的执行 [7] 公司与合作背景 - Fabric.AI是一家无晶圆厂半导体公司,开发基于MicroLED的光互连,旨在解决AI数据中心的数据移动瓶颈,Neural I/o™项目与Kopin合作开发 [10] - Kopin Corporation是显示、光互连设备和特定应用光学解决方案的领先开发商和供应商,产品作为关键组件和子组件销往国防、企业、专业和消费产品领域 [11] - Kopin产品组合包括微显示器、显示模块、目镜组件、图像投影模块以及车载和头戴显示系统,涵盖AMLCD、FLCoS、MicroLED和OLED显示器、多种光学元件及低功耗ASIC和数据中心光互连设备 [11] - Fabric.AI与Kopin已开始Neural I/o的初始传输链路测试 [8]