核心观点 - 多芯片组件和异构集成正成为尖端服务器和高端边缘设备的标准配置，推动设计和制造流程发生广泛变化，并催生一系列创新和使能技术[2] - 行业正面临从单芯片向异构集成架构的转变，每一代产品都需要创新新材料、新架构和新封装技术[4] - 所有问题都有或将会有一到多种解决方案，短期内可用性取决于晶圆厂和封装产能，但未来五年将趋于平衡[30] 驱动因素与挑战 - 无法在单个光罩大小的芯片上集成足够晶体管以满足AI工作负载性能需求，性能差距无法通过缩晶粒尺寸弥补[2] - 智能体人工智能的普及使问题复杂化，需要CPU协调智能体行为，处理大量变量和选项，甚至需要AI来验证芯片架构[2] - 每个新模型和新应用对芯片提出更高要求，大型模型训练、实时推理扩展及边缘AI传感器部署激增，每个器件的硅含量和复杂性呈指数级增长[3] - 工程团队目标为每瓦性能提升至少两个数量级，需要芯片行业彻底重组，包括扩大处理面积、持续缩小逻辑电路尺寸、采用内存内和近内存预处理技术等[3] 封装技术创新 - 多芯片尺寸已达或接近完整光刻掩模尺寸，通过中介层、基板或2.5D/3.5D架构的桥接器连接[6] - 光罩尺寸大幅增加，目前已达5.5倍，9倍、12倍和40倍也指日可待[6] - 2.5D技术应用主要集中在大型数据中心，定制化多芯片封装可实现规模经济，但需通过持续创新降低成本[8] - 有机和玻璃中介层是硅中介层的廉价替代品，创新在于处理这些材料和工艺所需的稳定性和可靠性[9] - 有机中介层自2010年开始研究，但因热膨胀系数不匹配、柔性材料处理问题和密度低而发展缓慢[11] - 玻璃中介层自2011年开始研究，主要问题是脆性，但寄生效应比硅少且非常平整[11] - 高密度扇出网络中通过重分布层布线是另一种选择，但互连密度显著降低，集成桥接器可能改变这一情况[11] - 目前有关于用桥接层取代高密度多层RDL的讨论，其余低密度扇出部分只需一层或三层RDL处理[11] 散热挑战与创新 - 封装内逻辑密度增加及大型数据中心逻辑利用率达70%到80%，散热问题极具挑战性，千禧年之交服务器利用率仅为5%到15%[12] - 芯片制造商需从多种方案中选择，包括液冷、直接冷却、冷板、浸没式冷却、蒸汽帽和TSV烟囱，还可采用限流技术如棋盘格技术[14] - 两相冷却系统即将到来，低沸点非导电液体在闭合回路中流过冷板，沸腾成蒸汽后冷凝回液体，将显著降低散热界面阻力[14] - 通过多物理场建模在布局规划过程中可提前检测热点区域，建模技术得到极大改进[14] - 散热团队正在研究集成式散热器和直接涂覆在IHS顶部的新型材料，机械翘曲和散热是最大难题[15] 新型堆叠方式 - IBM研究院开发混合堆叠方式，利用斜面边缘和更少金属布线以一定角度堆叠晶体管，性能提升50%，能效提升70%，SRAM容量增加40%，预计2030年代初开始生产[16] - 通过为nFET和pFET、顶部FET和底部FET引入不同衬底，结合标准单元库布局创新，将首次实现三轨库设计，此前业界最佳为五轨[16] - 5T设计主要用于2nm及以下GAA FET，3T由于单元高度更低、尺寸更小具有更高密度，挑战在于电源轨间易出现漏电[16] - 顶部FET和底部FET的材料创新为提升性能打开大门，可在晶圆两侧进行信号布线和电源布线，至少拥有三代纳米堆叠技术[17] - 堆叠层数至少可增加到四层，需要更复杂的热通道设计，结合液冷微通道和导热通孔，可能需要导热性更好的新型基板材料[17] - 机械和热力学因素需纳入考量，机械稳定性和导热性是亟需实现的关键创新[18] Chiplet发展现状 - 晶粒自2011年起已用于量产芯片，但普及速度缓慢，2017年DARPA资助CHIPS项目旨在利用标准化组件缩短开发周期[21] - 几乎所有采用芯片组的设计都是定制的，除标准I/O和高带宽内存外尚未出现成功的商用芯片组市场[21] - 芯片组看似完美理想架构，但成本比想象中高得多，可重复使用性问题仍在解决中[22] - 每个芯片需根据周围物理环境进行全面表征，考虑噪声、热量、振动和电压变化及工作负载，影响芯片利用率、尺寸和每瓦性能[22] - 大型系统公司如谷歌、Meta、亚马逊、微软近期出售内部使用的芯片组，包括TPU、推理加速器、CPU和AI训练及推理芯片[22] - 大型汽车公司如宝马、Stellantis、大众、Rivian和特斯拉也在开发芯片组架构，同时讨论使用更通用硬件运行虚拟化层或通用编程接口[23] - 芯片组只是复杂多芯片组件中的一个部件，性能因使用方式、地点和用途不同而有很大差异[23] 仿真与虚拟化变革 - 强大计算能力使芯片制造商能以小时、天为单位进行模拟预测，20年前需要九个月运行模拟验证某种机制或效应[25] - 模拟和虚拟化的加速发展对研发产生巨大影响，10到15年前无法实现，需要大量内存、强大计算能力和当时未被充分理解的算法[25] - 晶圆厂技术协同优化概念出现，本质作用于制造业，正如系统和设计技术协同优化作用于系统和芯片设计[25] - 工艺流程越来越复杂，周期时间不断延长，大量开发和分析工作必须在线上进行，构建特定工艺的代理模型或机器学习模型需求旺盛[26] - 挑战在于生态系统中不同参与者之间共享数据而不泄露专有信息，目前取得一些进展但未彻底解决[27] - 趋势是所有事情用机器学习模型处理，需要大量合成数据，但需用实际物理数据校准，而半导体行业无人允许他人查看物理数据[27] 持续微缩与计算挑战 - 传统微缩仍在继续，多芯片组件通常包含在不同节点上开发的各种处理单元，最先进节点执行优先级最高的计算[27] - 晶体管密度仍能提升处理速度，缩短信号传输到SRAM距离，但SRAM本身无法微缩，需对存储在SRAM和片外DRAM中的数据进行优先级排序[27] - 在2nm及以下工艺节点，工艺偏差、更快电路老化、对噪声和电压波动更高敏感性及更难控制栅极漏电使器件管理更加困难[28] - 处理每个掩模所需计算量巨大，计算一个完整光罩尺寸芯片约需100万CPU小时，中间金属层掩模也需100万CPU小时[28] - 如果有10个或20个难处理层，每个产品需2000万CPU小时，代工厂每月处理10个产品需每月2亿CPU小时，数据中心约需30万个核心[28] 未来展望 - 关键问题不在于尖端技术是否普及，而在于行业将如何及在何处运用众多选项，因地区、市场细分和工作负载不同存在显著差异[31] - 人形机器人半导体需求与数据中心或智能手机截然不同，中国和美国AI数据中心对功耗关注点也会大相径庭[31] - 可用组件更多，组合方式更多，应用方式更加多样化，未来几十年选择只会越来越多[31]