涉及的公司和行业 * 公司：Lightmatter、Nvidia、Cerebras、Graphcore、Tachyum、AMD、Intel、Cisco、Meta、台积电（TSMC）、GlobalFoundries [1][7][13][30][44][55][69][122][129][138][204] * 行业：人工智能（AI）加速器、高性能计算（HPC）、光子计算、先进半导体封装、数据中心互连技术 [3][7][11][13][21][28][29][42][81][82][122][138][140][141][142][148][149][155][156] 核心观点和论据 现代AI训练的规模化挑战 * AI模型规模及其计算需求呈指数级增长，从数百万参数发展到数百亿甚至数万亿参数 [3][4] * 训练大型语言模型如GPT-3和GPT-4需要数千个GPU组成的分布式系统 [3][4] * 扩展面临双重瓶颈：摩尔定律放缓限制单芯片性能提升，多节点分布式训练引入巨大通信开销和同步延迟，使网络带宽成为关键瓶颈 [7][8][10][11] * 英伟达CEO指出，最新AI训练和推理工作负载的计算需求相比一年前的预期激增了高达100倍 [7][8] * 现代大规模AI训练陷入困境：依赖大规模GPU集群导致网络瓶颈和功耗飙升，依赖单节点性能提升则遇到半导体扩展、热管理和功率密度的限制 [10][11] * 克服计算和通信的双重瓶颈已成为后摩尔定律时代整个行业的共同挑战 [11] Lightmatter Passage光子互连技术 * Lightmatter Passage M1000"超级芯片"平台采用创新的3D光子堆叠架构，旨在解决芯片间连接能力不足的核心瓶颈 [13][14] * 该平台在一个光子互连板上集成多达34个芯片片，总等效晶粒面积达到4,000 mm²，超越传统光刻掩模单芯片的极限 [13][14] * 提供前所未有的互连带宽：总双向带宽为114 Tbps，包含1,024条高速SerDes通道，使每个集成计算芯片片能访问每秒多太比特的I/O带宽，有效突破传统单芯片外围I/O引脚限制的瓶颈 [17] * 通过光子堆栈，众多芯片片可共享高速光通信背板，以接近单片的效率协作，为应对AI规模扩大挑战提供新途径 [21] * 技术细节：采用2×4瓦片结构，8个光互连模块拼接；每个瓦片集成16条水平光总线，每条总线支持2个全双工光链路；每个光链路通过波分复用（WDM）使用8个波长，每个波长56 Gbps，实现每链路448 Gbps，每条光总线总吞吐量接近1 Tbps [97][98][99] * 集成光电路开关，可编程改变波导连接性，实现动态可重构的光通信网络，提高系统容错能力 [103] * 利用微环调制器等紧凑光器件实现极高I/O密度，整个M1000分布有1,024个SerDes通道，通过3D堆叠垂直光耦合绕过传统电I/O的平面限制 [104][105] * 通过256根光纤与外部连接，每根光纤支持双向多波长传输，显著提升连接效率 [106][107] * 目标是将传统扩展环境中数十甚至数百个模块的通信需求浓缩成一个单一的扩展超级包，实现"芯片内的计算，芯片内的通信" [108] 光子计算的技术验证与比较 * 《自然》杂志发表的论文验证了光子学在AI加速方面的可行性，展示了首个能执行ResNet和BERT等高级神经网络的光子处理器，在多个复杂任务中实现接近32位浮点数字加速器的精度 [22][23] * 该光子处理器采用多芯片集成封装，垂直组合六个芯片（四个128×128光子张量核心PTCs和两个12nm数字控制接口DCIs），通过高速接口连接光子计算芯片与电子控制芯片 [23][24] * 在测试中实现每秒65.5万亿次的16位运算，仅消耗约78瓦电能加1.6瓦光能，实现"接近电子精度"，标志着光子计算实际应用的重要一步 [26][27] * 与Lightmatter Passage比较：《自然》处理器专注于光子核心层面的张量计算，证明光子计算核心可与电子加速器竞争；Passage则专注于跨芯片互连，提供革命性数据传输架构 [28][29][116] * 两者互补：《自然》处理器增强模块内计算性能，Passage扩展模块间通信带宽，共同预示混合电子-光子架构的未来 [28][29][82][83][116][121] 与其他行业玩家的比较分析 * Nvidia：继续依靠GPU集群扩展和先进封装，其Blackwell Ultra GPU采用双芯片设计，拥有2080亿晶体管，性能比H100提高约50% [30][31]；计划推出的Vera Rubin超级芯片结合Rubin GPU和Vera CPU，基于3nm工艺和HBM4内存（带宽13 Tbps），提供50 PFLOPS（4位）推理性能，约为Blackwell的2.5倍；Rubin Ultra通过封装两个Rubin GPU预计达100 PFLOPS FP4性能 [34][35]；升级互连技术，NVLink 6提供每节点3.6 Tbps带宽，并推出基于光学的数据中心交换机（如Spectrum-X, Quantum-X），端口速度达800 Gbps [36][37]；但其电气互连的功率和距离限制突出，单个Vera Rubin机架功耗高达600 kW [39][40]；Passage通过光互连在单机内实现十到数百Tbps联网能力，将数据中心级通信压缩成"超级芯片"，简化部署并提高效率 [42][127][128] * Cerebras：采取极端规模扩展策略，构建晶圆级引擎（WSE），第三代WSE-3单个芯片面积46,250 mm²，集成4万亿晶体管、90万个核心、42 GB片上SRAM，片上内存带宽达21 PB/s [44][45]；可将24万亿参数模型全部权重集成在单芯片中，提供极高内部带宽密度（约为Nvidia H100的7,000倍）和超低延迟 [47][48]；但面临制造良率、热管理（单个CS-3系统耗电15 kW）和成本挑战，超出一块晶圆的扩展仍依赖外部电互连（以太网/InfiniBand） [49][50]；Passage通过光互连在标准芯片片间实现近乎单片的带宽通信，提供更好的成本效益和灵活性 [52][53] * Graphcore：专注于先进封装和内存架构创新，其第二代IPU集成900 MB分布式SRAM，通过近内存设计提供260 TB/s片上内存带宽 [55]；Bow IPU采用台积电晶圆上晶圆（WoW）3D堆叠技术，将计算晶圆与电源供应晶圆直接粘合，运行频率从1.35 GHz提升至1.85 GHz，性能提升约40%，能效提升16% [58][59]；但其IPU间通信仍依赖电接口，在大规模扩展时效率低于光互连 [61][62]；Passage专注于打破跨芯片通信瓶颈，而Graphcore强调芯片内带宽和功率传输提升，未来结合两者技术可能解锁更高性能 [66][67] * Tachyum：追求"通用处理器"路线，其Prodigy芯片采用多核设计，提供192个64位核心，AI性能媲美GPU，强调核心功耗比传统处理器低一个数量级，支持统一架构处理推理、训练和通用计算 [69][70][74]；在互连方面采用UCIe开放芯片片标准，并与光连接器供应商合作引入光纤高速连接增强节点间通信 [74][75][76]；但其超大型模型训练仍需多芯片集群，节点间互连是关键，其光连接方法侧重于板级或机架级改进，而Passage将光集成到封装级互连结构，实现更深集成和更高带宽密度 [77][78] * AMD MI300：将CPU、GPU和HBM集成在一个封装中，采用芯片片堆叠和3D V-Cache技术，实现CPU和GPU共享缓存一致性和巨大HBM容量，代表另一种规模扩展方法 [129]；封装集成多达九个芯片（三个计算芯片和六个HBM3堆叠），通过Infinity架构提供数百GB/s CPU-GPU通信和超过1 TB/s内部内存带宽 [131][132]；但跨插槽或多节点通信仍依赖电互连（Infinity Fabric或以太网），封装和功率限制集成芯片数量 [135]；Passage的3D光子堆叠提供更激进的扩展路径，使任意数量芯片片通过光子底板互连，形成"巨型APU" [136][137] * 系统互连趋势：超大规模数据中心探索光背板和光子交换机，Meta提出构建"AI超级网络"光学织物，Intel和思科开发共封装光学（CPO）交换机，将光收发器直接置于交换机ASIC旁 [138][139]；这些努力可视为系统级规模扩展，将整个网络视为单台计算机；Passage是此概念在机器级的延伸，提供模块化光子互连平台 [140][141]；行业趋势是铜链路逐渐被光纤取代，光子互连成为从处理器内部到数据中心网络的焦点 [141] 铜互连的局限性与光子互连的优势 * 铜互连局限：传输距离有限，高频下信号衰减严重，仅几厘米后即需中继器，增加功耗和延迟 [157][159][160]；功耗随距离线性或更快增加，现代高速SerDes每比特消耗数皮焦耳，例如Nvidia H100的NVLink带宽约900 GB/s，I/O能耗可达数十瓦，扩展到数百Tbps需求时，纯电方案不切实际 [163][164][165]；I/O引脚数量和布线密度是基本瓶颈，计算性能增长快于I/O增长，导致"计算快但数据移不出"的瓶颈 [167][168]；功率密度（W/mm²）持续上升，对封装材料和热管理提出更高要求，先进GPU已达0.5–0.7 W/mm²，需要大型散热器和液冷，3D集成中多芯片片集中热量加剧冷却挑战 [170][171][172][173] * Passage光子方案优势：用光波导和光纤替代铜线，光信号在硅波导中损耗极低，可实现芯片间或机架级传输而无须中继器 [176][177]；利用波分复用（WDM）提升带宽密度，每个波导8个波长各56 Gbps，达448 Gbps，16个波导组成7.17 Tbps光总线，远超铜线密度 [179][180]；单根光纤传输16个双向波长，提供1 Tbps全双工吞吐量，功耗仅100 mW/光纤，而铜线实现同等带宽需数十至数百高速通道，体积和功耗大得多 [181][182]；采用微环谐振器调制器，Tx/Rx对仅占0.006 mm²（比电SerDes小约3倍），驱动功率1 mW/设备，调制能量0.018 pJ/比特，总能量/比特预计接近1 pJ，比先进铜SerDes高效数倍 [184][185]；内部测试显示光链路在56 Gbps NRZ和112 Gbps PAM4下稳定运行，误码率达标，眼图开放，TDECQ消光比仅0.83 dB [187][188]；3D堆叠结合强大电源和热管理，光子互连板集成密集TSV电源通孔，承载>2.5 A/mm²电流，支持多个150–200W级计算芯片同时工作而无供电瓶颈 [189][190][191]；热管理上，3D堆叠缩短热路径，计算芯片可从顶部直接冷却，集中式热设计更易优化（如使用单一片冷板） [193][194]；证明即使节点聚合数千TB/s带宽和接近千瓦级功率也能在物理限制内可靠运行，为突破铜互连约束提供明确路径 [195][196] * 行业应对比较：Nvidia和AMD在封装级优化，如HBM通过硅中介层直接连GPU，缩短路径至毫米级，实现>1 TB/s GPU内存带宽 [204]；交换机中CPO成为热点，思科和微软测试将光收发器嵌入交换机ASIC旁，实现直接光I/O [206]；Passage将CPO概念从板级推进至芯片间光互连，Nvidia计划在未来Kyber机架采用CPO支持600 kW GPU系统，而Passage已在单超级模块内展示数百Tbps连接，减少对机架级交换机的依赖 [206][207]；为降低铜互连功耗，行业投资SerDes创新（如PAM4、DSP/FEC均衡），但常以功耗换带宽，新一代技术提高每比特能量 [208][209]；Graphcore降低每通道速度但在封装内集成更多芯片片以分散功耗，但仍依赖传统互连进行跨卡扩展，且I/O驱动摆幅电压缩放放缓，未来电I/O可能消耗系统大部分功率 [210][211]；光子互连成为必然路径，不受RC约束，可长距离低功率传输，微环调制器能效高；Lightmatter报告其3D光子CPO相比传统2D CPO在功率减半下实现8倍带宽提升，是量级飞跃 [213]；光子学引入新维度解决电学权衡：光信号实现"快速且远距离"，3D集成实现"分布式散热"和更有效的热负载管理，缩短电源路径稳定高电流传输 [215]；《自然》处理器验证了小规模混合光电子系统效率，Passage M1000将其扩展至大规模带宽和高功率集成，证明光子3D集成的可靠性 [216] 其他重要内容 规模扩展（Scale-Up）与规模扩大（Scale-Out）的辩证关系 * 两者不应被视为对立面，而是光谱的两端 [144][151]；规模扩大提供灵活性和增量增长，但系统扩展后边际收益下降（受阿姆达尔定律和通信开销增加限制）；规模扩展提供更高的每资源效率，但受硬件限制和成本制约 [144][151] * 未来AI基础设施可能平衡两者，即"适度规模扩展 + 协调规模扩大"，例如将数十或数百个计算芯片封装成光互连模块，然后通过高级网络连接 [145][146][152][153] * 《自然》光子处理器和Cerebras WSE代表极端规模扩展，证明单节点内突破传统限制的可行性；Nvidia和AMD正逐步将规模扩展元素注入规模扩大框架（如芯片片、更快节点间连接） [147][154] * 光电子集成正在重新定义规模扩大/规模扩展的边界，Lightmatter Passage展示了如何结合两者优势以满足下一代AI的巨大计算需求 [149][156] * 未来几年，光子互连将发挥关键作用，将大规模计算架构从松散分布集群转变为紧密结合的光学织物，为用户带来更大模型、更快训练和更低能耗 [148][155] 技术细节与性能数据 * Passage M1000总双向带宽114 Tbps，1,024条SerDes通道 [17] * Passage每个光链路通过WDM达448 Gbps，每条光总线近1 Tbps，每个瓦片总带宽巨大 [98][99] * 《自然》光子处理器性能：65.5万亿16位操作/秒，功耗78 W电能 + 1.6 W光能 [26] * Nvidia H100 NVLink带宽约900 GB/s，假设10 pJ/比特，I/O能耗可达数十瓦 [164] * Passage微环调制器Tx/Rx对面积0.006 mm²，驱动功率1 mW，调制能量0.018 pJ/比特 [184][185] * Passage光纤传输1 Tbps全双工吞吐量，功耗~100 mW/光纤 [181][182] * Lightmatter 3D光子CPO相比传统2D CPO实现8倍带宽提升，功耗减半 [213]