Workflow
从英伟达的视角看算力互连板块成长性——Scale Up网络的“Scaling Law”存在吗? | 投研报告

以下为研究报告摘要: 东吴证券近日发布AI算力跟踪深度(三):"内存墙"问题和AI计算范式演进推动Scale Up网络升级。"内存墙":单一大模型的参数量与单卡显存的差距(即模型内存墙)、单卡 算力与单卡显存间的差距(即算力内存墙)均逐代放大,通过Scale Up将显存池化。 3.为什么需要更大的Scale Up网络:TCO、用户体验、模型能力拓展。随着单用户每秒 消耗的Token数(Tokens Per Second,TPS)提高,包括NVL72在内的现有服务器单卡性能都 会逐渐坍缩,在用户体验持续提升、模型能力拓展的趋势下,单用户TPS必然增长,采用更 大规模的Scale Out能提高单卡有效性能,TCO也更具经济性。我们认为Scale Up规模与预期 单用户TPS、单卡实际性能间存在Scaling Law,前者会随后者非线性增长。 4.怎么组建更大的Scale Up网络:网络结构层面,在柜间搭建第二层Scale Up交换机;端 口连接层面,光与AEC有望在第二层网络中并存,按照最新的NVLink与IB标准测算,1颗 GPU需要9个额外的等效1.6T连接,为Scale Out网络的3-4.5倍,每4颗GP ...