计算危机与AI需求 - AI应用的快速扩展显著增加了对计算基础设施的需求，暴露了基础硬件范式中的关键限制 [2] - 传统计算堆栈导致硬件系统中物理计算能力的严重低效利用 [2] - AI的能源需求正在不可持续地增加，数据中心2023年消耗约200太瓦时电力，预计2026年增至260太瓦时，占美国总电力需求的6% [3] - 前沿AI模型的训练成本大幅增加，预计2027年最大规模训练运行成本将超过10亿美元 [4] - 晶体管尺寸缩小到纳米级，摩尔定律和丹纳德定律正在达到极限 [4] 基于物理的ASIC解决方案 - 基于物理的ASIC直接利用物理动力学进行计算，而非强制实现理想化的数字抽象 [1] - 通过放宽传统ASIC的无状态性、单向性、决定性和同步性约束，显著提升能源效率和计算吞吐量 [1][6] - 基于物理的ASIC可以加速AI应用如扩散模型、采样、优化和神经网络推理 [1] - 与传统ASIC相比，基于物理的ASIC能用更少组件完成更多计算，如标量乘法只需少量组件而非几十到几百个晶体管 [17] - 基于物理的ASIC有望实现异构、高度专业化的计算平台未来 [1] 性能优势与设计策略 - 基于物理的ASIC通过放宽约束来节省功率和能量成本 [23] - 物理动态"自动"执行部分计算，如求解线性代数或优化问题，带来时间和能量节省 [23] - 设计策略涉及自上而下与自下而上视角的交集，最大化应用需求与物理结构能力的匹配 [25][28] - 定义性能比率RT(ℓ)和RE(ℓ)来评估算法在基于物理的ASIC上的运行时间和能耗优势 [30] - 阿姆达尔法则对使用ASIC所能获得的性能提升设定了限制 [31] 应用领域 - 基于物理的ASIC适合物理启发的应用如人工神经网络、扩散模型、采样和优化 [38][41] - 人工神经网络特别适合通过专用模拟硬件加速，因其对噪声的抗性和计算模式重复性 [44] - 扩散模型与随机热力学有深刻联系，基于物理的ASIC非常适合运行 [45] - 采样问题可通过物理系统自然演化的特性解决 [46] - 优化问题可映射到物理能量函数，基于物理的ASIC可执行退火算法等 [48] 发展路线图 - 第一阶段需展示基于物理的ASIC在关键工作负载上的性能优势 [53][54] - 第二阶段需解决可扩展性问题，构建能够处理工业规模问题的物理基底 [57][58] - 第三阶段需将基于物理的ASIC集成到混合系统中，与传统GPU和CPU协同工作 [61][63] - 基于tile的层级结构和可重构交互项是实现可扩展性的关键设计 [59][60] - 需要开发用户友好的软件抽象如PyTorch和JAX接口以促进广泛采用 [64]