Workflow
超级以太网
icon
搜索文档
什么是Scale Up和Scale Out?
半导体行业观察· 2025-05-23 09:21
AI Pod概念与架构 - AI Pod是预配置的模块化基础设施解决方案,集成计算、存储、网络和软件组件以优化AI工作负载部署效率[2] - 每个机架可视为一个AI Pod,纵向扩展(Scale-Up)指单个Pod内增加处理器/内存等资源,横向扩展(Scale-Out)指增加更多Pod节点[4] - XPU为通用处理器术语,涵盖CPU/GPU/NPU/TPU/DPU/FPGA/ASIC等类型,单个XPU刀片通常含2-8个XPU设备[4][6] 扩展模式技术对比 纵向扩展 - 优势:直接添加资源即可扩展,适合传统架构应用;可充分利用高性能服务器硬件(如高效CPU、AI加速器、NVMe存储)[8] - 限制:存在物理硬件瓶颈(如内存或CPU利用率无法线性平衡),托管成本随服务器规模显著上升[8] - 适用场景:内存/处理密集型的数据库服务或容器化应用,示例配置从1CPU/2GB内存扩展至4CPU/8GB内存[8][9] 横向扩展 - 优势:支持长期增量扩展,易缩减规模释放资源,可使用商用服务器降低成本[12] - 挑战:需重构单体架构应用,网络复杂性和跨节点数据一致性管理难度增加[13] - 通信需求:Pod内需极低延迟(如NVLink),Pod间依赖高带宽方案(如InfiniBand/超级以太网)[11][13] 关键硬件与互连技术 - NVIDIA B200 GPU晶体管数量超2000亿,体现XPU设备的高计算密度[5] - InfiniBand与超级以太网竞争数据中心互连标准,后者由AMD/英特尔/微软等推动,强调开放性与互操作性[9][13] - UALink可能成为跨XPU供应商的通用高速互连方案,但NVIDIA对其前景持保留态度[13]
数据中心互联革命:UALink & 超级以太网正加速崛起
半导体芯闻· 2025-03-18 18:32
文章核心观点 AI和HPC数据中心计算节点需超越芯片或封装获取更多资源,但目前无开放扩展协议,新协议UALink和超级以太网旨在解决纵向和横向扩展通信缺陷,预计2026年底开始出现在数据中心 [1][26] 多种通信任务 - 计算节点容量有限,需依赖其他节点分配问题,通信协议分三类,最低级是芯片到芯片互连,中间通信级别可扩展,UALink在此发挥作用 [3] - UALink可连接主GPU单元,增加带宽、减少延迟,能与任何加速器配合,抽象加速器区别,优化xPU到xPU内存通信 [4] 超越机架 - 机架外资源需通过以太网横向扩展通信,与纵向扩展覆盖范围不同 [5] - 超级以太网建立在传统以太网之上,解决横向扩展问题,加速数据中心以太网 [6] 扩展:一片绿地 - 现有扩展技术由专有解决方案组成,效率低,UALink联盟成立,目标是促进AI加速器操作,由事务层、数据链路层和物理层组成 [8] - UALink针对AI和HPC工作负载优化,不具备PCIe所有功能,但满足特定需求,初始版本为224Gbps和半速版,后续推-128版本,预计不挑战PCIe或CXL [9] - UALink 1.0规范预计下个季度内推出并免费下载 [10] 横向扩展:基于以太网构建 - 以太网广泛应用,但尾部延迟损害性能,通信延迟不固定、不可预测,对AI和HPC工作负载问题严重 [12][13] - 超级以太网联盟针对通信提供强制和可选功能,可通过网络接口卡或结构端点连接,CPU和GPU均可参与 [14][15] 为以太网添加层 - 超级以太网在标准以太网基础上添加第3层和第4层,传输层管理事务语义,减少整体系统延迟,第3层仅用IP未更改 [17] - 传输层在端点实现,源端点决策,接收端点反馈,出现问题数据包发送NACK及诊断信息,源重新选择路径 [17][18] 新功能有助于减少尾部延迟 - 超级以太网通过无序交付、链路级重试、流量控制和数据包喷射减少延迟,部分功能可选,早期网络需交换机升级才有链路级重试功能 [20][21] - 这些功能提供更快传输选项,减少重试次数,虽可能增加名义延迟,但减少尾部延迟,使系统更快开始 [22] - 超级以太网1.0规范预计4月或5月发布,端点创建快,交换机升级慢,UEC保持对协议控制,与多组织合作避免分叉 [23][24] 结论 - AI是杀手级应用,HPC可搭便车,超级以太网允许选择交易语义,两项协议规范2025年上半年推出,经评估后应用到硅片,2026年底可能出现在数据中心 [26]