纪要涉及的行业或公司 * 行业: 人工智能芯片、数据中心、边缘计算、半导体 * 公司: Google、Amazon、Meta、Microsoft、Tesla、AMD、Intel、Nvidia、Broadcom、Marvell、Groq、Cerebras、Tenstorrent、Etched、Sambanova、d-Matrix、LG、Samsung、Apple 核心观点和论据 1. AI ASIC芯片优于GPU: 专家认为，虽然GPU在通用高性能计算方面表现良好，但定制的AI ASIC芯片更适合AI工作负载，因为它们的硅设计从零开始，内存架构可以解决GPU中可能出现的挑战，并且能够平衡通用性和特定性。[2] 2. AI加速器发展: AI加速器开发正在三个不同领域进行：超大规模计算、无晶圆厂半导体公司、以及传统半导体公司。[2] 3. AI模型性能: AI模型性能的改进正在趋于平缓，扩展定律正在放缓，我们正在看到递减的回报。[2] 4. GPU利用: GPU的利用目前受内存限制，而定制AI加速器可以帮助解决硬件问题。[4] 5. 推理采用: 随着玩家开始关注可部署性和收入机会，推理采用将在未来几年增加。[4] 6. 分布式AI计算: 分布式AI计算可以通过根据查询的复杂度或性质将查询拆分来解决计算能力挑战。[4] 7. 数据中心: 数据中心提供商将在2025年采用Nvidia Blackwell解决方案，但由于采购、数据中心容量建设、电力、冷却和热管理方面的重大成本增加，因此数量可能较小。[4] 8. 边缘计算: 边缘计算将崛起并与数据中心计算分担负载，这对于解决隐私和安全问题至关重要。[5] 9. AI芯片公司: AI芯片公司很难向云服务提供商（CSP）销售，除非它们能够证明与内部ASIC相比具有更强的性能。[5] 10. 内存限制: 内存硬件改进、AI加速器架构的进步以及模型架构的改进是解决内存问题的三种方法。[21] 其他重要内容 1. 异构计算: 异构计算，其中GPU、CPU和NPU结合，将成为主流。[10] 2. 边缘设备: 边缘设备可能不会使用HBM，并且不会看到大量内存部署，因为成本、操作/热管理挑战。[5] 3. 测试时间计算: 测试时间计算在解决准确性和安全性方面具有优势，但成本和延迟较高。[18] 4. 分布式AI计算: 分布式AI计算将获得更多接受，因为它结合了数据中心和边缘计算。[19] 5. NVDA Blackwell架构: AI加速器公司正在解决NVDA Blackwell架构带来的挑战，预计2025年将出现AI加速器扩展和Blackwell的交集。[20] 6. 内存: 内存硬件改进、AI加速器架构的进步以及模型架构的改进是解决内存问题的三种方法。[21] 7. 网络: 从网络角度来看，数据目前从芯片流向板，然后流向光/有源铜电缆，然后流向下一个GPU。这两种连接都由于高速和低延迟的要求而受到挑战。[23] 8. 边缘AI: 边缘AI模型部署将在未来几年变得非常重要，并且很少有公司专注于这一点。[24] 9. 中国: 中国正在使用称为扩展的方法，这种方法具有较低的计算密度，但范围更广。[25] 10. 规模扩展或扩展: 取决于模型架构、大小、用例、工作负载和吞吐量。[26] 11. 边缘计算内存: 对于每亿个参数，需要1GB的DRAM。边缘设备也会有内存限制吗？[27] 12. 数据中心用例: 创业公司如何进入市场？用例本身并不非常清楚。ASIC公司如何应对，以及应用演变将如何发生？[28] 13. HBM: 对于GPU来说，HBM绑定，而ASIC（TPU、Trainium）的内存容量较低，限制在64/96GB，而NVDA/AMD GPU配备了高内存GPU，内存容量为192GB/288GB。[29] 14. 业务模式: 这些业务模式在本质上不同，谷歌专注于扩展并提供推理服务，而AMD/NVDA则使用高内存，因为他们为一级CSP提供最大计算能力和更大的模型大小。[31]