文章核心观点 - 普林斯顿大学等机构的联合研究指出，英伟达Blackwell B200 GPU因软硬件适配问题，导致高达60%的计算资源被浪费[1] - 由Tri Dao领衔、Meta、Together AI及英伟达共同研发的FlashAttention-4算法，通过针对性优化，将GPU利用率从行业普遍的20%-30%提升至71%，有效解决了资源浪费问题[3][4][5][6] Blackwell B200 GPU的硬件瓶颈 - 算力大幅提升：Blackwell B200的张量核心算力达到2.25 PFLOPS，是上一代Hopper H100的2倍[7][8] - 配套单元停滞：负责指数运算的MUFU单元吞吐量与共享内存带宽均未升级，与算力翻倍的张量核心形成脱节[11][12] - 性能瓶颈反转：在注意力计算中，共享内存读写和指数运算的耗时，反而比矩阵乘法多出25%-60%，导致张量核心长期处于等待状态，超过六成的计算资源被闲置[13][14][15] FlashAttention-4的三大优化策略 - 优化指数运算与内存读写： - 通过软件模拟指数函数（使用多项式近似），让高速的FMA计算单元参与指数运算，提升吞吐量[18] - 采用条件性softmax rescaling策略，减少不必要的计算步骤[18] - 利用2-CTA MMA模式，将共享内存的读写量直接砍半，并减少后续原子操作[20][21] - 重构计算流水线：深度适配Blackwell的全异步MMA操作和张量内存TMEM，让softmax计算与矩阵乘法实现完全的计算重叠，避免硬件算力空闲[23][24][26] - 前瞻性硬件适配：考虑到下一代B300/GB300 GPU的指数运算单元吞吐量已翻倍至32 ops/clock/SM，算法方案将根据实际性能重新权衡，确保持续适配硬件迭代[27][28] FlashAttention-4的性能与开发优势 - 性能表现：在B200 GPU上，前向传播算力最高达到1613 TFLOPS/s，实现了71%的理论峰值利用率[32] - 速度对比：比英伟达官方的cuDNN 9.13快1.1-1.3倍，比常用的Triton框架快2.1-2.7倍，在长序列、因果掩码等场景优势更突出[34][37] - 开发效率跃升：全部代码基于Python的CuTe-DSL框架编写，实现零C++代码开发[29] - 编译速度大幅提升：前向传播内核编译时间从FlashAttention-3的55秒缩短至2.5秒，提速22倍；反向传播编译时间从45秒降至1.4秒，提速32倍，整体编译速度最高提升30倍[30][31][32] 行业影响与后续发展 - 英伟达官方的cuDNN从9.13版本开始，已经反向吸收了FlashAttention-4的核心技术[38]