RXTX算法

搜索文档
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
量子位· 2025-05-18 13:20
矩阵乘法优化算法 - 矩阵乘法在训练和推理过程中消耗大量算力,成为计算瓶颈 [1][2] - 香港中文大学提出新算法RXTX,可节省5%-10%能源和5%时间 [3] - 针对特殊结构矩阵乘法(如XXᵀ)进行优化,突破传统算法限制 [7][8] RXTX算法技术细节 - 采用4×4分块矩阵递归乘法,结合机器学习搜索与组合优化方法 [10][11] - 递归关系式改进为R(n)=8R(n/4)+26M(n/4),渐近乘法常数降至0.6341 [16][17] - 通过线性组合26个一般矩阵乘积和8个对称乘积计算结果 [11][13][14] 性能对比数据 - 乘法次数比原算法降低5%,运算量在n≥256时优于传统算法 [21][24] - 6144×6144矩阵测试中运行时间2.524秒,比BLAS默认实现快9% [27] - 总运算量公式显示对数项消除,算法优势随矩阵规模扩大而增强 [22][23] 算法开发方法 - 采用强化学习生成候选乘积,结合MILP求解器进行枚举筛选 [31] - 限制候选空间为二维张量降低计算复杂度,借鉴AlphaTensor思路 [28] - 通过大邻域搜索迭代优化减少冗余乘积,提升算法效率 [31]