Workflow
超级以太网
icon
搜索文档
什么是Scale Up和Scale Out?
半导体行业观察· 2025-05-23 09:21
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容来自半导体行业观察综合 。 在本文中,我们来谈一下GPU集群的横向和综合拓展。 让我们从"AI Pod"的概念开始。这个术语对不同的人可能意味着不同的东西,但它通常指的是一种预先配置的模块化基础设施解决方案,旨在简化 和加速AI工作负载的部署。 这些"pod"将计算、存储、网络和软件组件集成为一个紧密相连的单元,从而促进高效的 AI 运行。这就是我们遇到"纵向扩展"和"横向扩展"等术语 的地方。以下是可视化示例: 每个 XPU 刀片通常包含 2 到 8 个 XPU 设备。每个设备可以形成为单片芯片(即由单个半导体切片制成),也可以形成由一组称为"芯片集"的芯 片组成的多芯片系统。 我们这里讨论的计算处理能力令人难以置信,XPU 设备本身也同样如此。例如,NVIDIA 的 B200 GPU 拥有超过 2000 亿个晶体管(当然,我可 没亲自数过)。 CPU(中央处理器) GPU(图形处理单元 NPU(神经处理单元) TPU(张量处理单元) DPU(数据处理单元) FPGA(现场可编程门阵列) ASIC(专用集成电路) END 半导体精品公众号推荐 扩展是有限制 ...
数据中心互联革命:UALink & 超级以太网正加速崛起
半导体芯闻· 2025-03-18 18:32
文章核心观点 AI和HPC数据中心计算节点需超越芯片或封装获取更多资源,但目前无开放扩展协议,新协议UALink和超级以太网旨在解决纵向和横向扩展通信缺陷,预计2026年底开始出现在数据中心 [1][26] 多种通信任务 - 计算节点容量有限,需依赖其他节点分配问题,通信协议分三类,最低级是芯片到芯片互连,中间通信级别可扩展,UALink在此发挥作用 [3] - UALink可连接主GPU单元,增加带宽、减少延迟,能与任何加速器配合,抽象加速器区别,优化xPU到xPU内存通信 [4] 超越机架 - 机架外资源需通过以太网横向扩展通信,与纵向扩展覆盖范围不同 [5] - 超级以太网建立在传统以太网之上,解决横向扩展问题,加速数据中心以太网 [6] 扩展:一片绿地 - 现有扩展技术由专有解决方案组成,效率低,UALink联盟成立,目标是促进AI加速器操作,由事务层、数据链路层和物理层组成 [8] - UALink针对AI和HPC工作负载优化,不具备PCIe所有功能,但满足特定需求,初始版本为224Gbps和半速版,后续推-128版本,预计不挑战PCIe或CXL [9] - UALink 1.0规范预计下个季度内推出并免费下载 [10] 横向扩展:基于以太网构建 - 以太网广泛应用,但尾部延迟损害性能,通信延迟不固定、不可预测,对AI和HPC工作负载问题严重 [12][13] - 超级以太网联盟针对通信提供强制和可选功能,可通过网络接口卡或结构端点连接,CPU和GPU均可参与 [14][15] 为以太网添加层 - 超级以太网在标准以太网基础上添加第3层和第4层,传输层管理事务语义,减少整体系统延迟,第3层仅用IP未更改 [17] - 传输层在端点实现,源端点决策,接收端点反馈,出现问题数据包发送NACK及诊断信息,源重新选择路径 [17][18] 新功能有助于减少尾部延迟 - 超级以太网通过无序交付、链路级重试、流量控制和数据包喷射减少延迟,部分功能可选,早期网络需交换机升级才有链路级重试功能 [20][21] - 这些功能提供更快传输选项,减少重试次数,虽可能增加名义延迟,但减少尾部延迟,使系统更快开始 [22] - 超级以太网1.0规范预计4月或5月发布,端点创建快,交换机升级慢,UEC保持对协议控制,与多组织合作避免分叉 [23][24] 结论 - AI是杀手级应用,HPC可搭便车,超级以太网允许选择交易语义,两项协议规范2025年上半年推出,经评估后应用到硅片,2026年底可能出现在数据中心 [26]