从铜到CPO:人工智能互连变了

文章核心观点 - 人工智能系统架构正经历从铜互连向光互连的演进,但并非简单替代,而是基于传输距离、延迟、功耗和密度等因素形成务实分工[1][8] - 共封装光学器件是这一演进的关键转折点,通过将光引擎靠近交换机ASIC封装,解决高带宽下电互连的功耗、信号完整性和密度挑战,而非取代电串行器/解串器[5][8] 纵向扩展与横向扩展的连接性差异 - 纵向扩展旨在紧密耦合系统内最大化性能,连接距离通常远小于十米,强调极低延迟和高度同步,高速铜缆互连仍占主导,由电串行器/解串器及NVLink等协议支持[2] - 横向扩展将工作负载分布到多台服务器以提高总吞吐量,一旦通信范围超出机架,光互连变得至关重要,以太网和InfiniBand构成大规模AI集群骨干,支持数十米到数百米距离的高带宽、高能效通信[2] - 在简化的AI加速器架构中,计算层加速器通过高带宽铜缆向上连接至L1计算交换机,形成纵向扩展连接;L1交换机间也通过铜缆互连,使多个加速器在软件层面可像单一大型设备运行[2] 电串行器/解串器面临的系统级挑战 - 电串行器/解串器容量持续从112G向224G PAM4及更高发展,但电气通道成为瓶颈,为保持远距离信号完整性需更强均衡和数字信号处理能力,导致每比特功耗增加[3] - 对于拥有数千条电串行器/解串器通道的大型AI交换机和加速器,每比特能耗的轻微增加可在机架层面转化为数百瓦的功耗,使其成为首要的架构限制因素[3] 共封装光学器件的角色与部署策略 - 共封装光学器件通过将光引擎放置在更靠近交换机ASIC的位置,大幅缩短电气路径,从而降低输入/输出功耗、提高信号完整性,并实现更高的总带宽扩展[5] - 行业对光链路应用存在不同看法:NVIDIA在纵向扩展中坚持铜缆优先,而Marvell和博通等厂商似乎更愿意在纵向扩展架构中引入光链路[7] - 人工智能系统架构的中短期演进是渐进式的,铜在短距离、可控且节能的纵向扩展领域仍然有效;最直接的压力点在于网络交换层,可插拔光模块在功耗、信号完整性和前面板密度方面面临挑战[4][5] 光与铜互连的长期演进趋势 - 从长远看,纵向扩展与横向扩展的界限可能模糊,随着加速器数量增加和系统物理尺寸增大,即使电气性能可行,铜基架构也将面临功率密度、气流和布线复杂性压力[7] - 在此情况下,光纤输入/输出可能开始在纵向扩展中发挥作用,特别是在推理优化架构中,每瓦吞吐量比超低延迟更为重要[7] - 光器件不会立即完全取代铜线,演进基于务实分工:铜在延迟和可靠性至关重要且距离短的场景占主导;光器件则在电串行器/解串器扩展与功耗、距离和密度限制冲突的场景得以扩展[8]

从铜到CPO:人工智能互连变了 - Reportify