Workflow
矩阵乘法
icon
搜索文档
矩阵乘法新突破!XX^T原来可以更快!RL助力搜索,世界纪录又被提升了5%
机器之心· 2025-05-24 11:13
矩阵乘法优化突破 - 研究团队发现特殊矩阵乘法(XXᵀ)可进一步加速,新算法RXTX节省5%乘法运算量[1][8] - 该成果在国际学术界引发广泛关注,MIT、斯坦福、哈佛及Google DeepMind科学家参与讨论[3] - 矩阵乘法优化被视为计算机科学领域的"珠穆朗玛峰",自1969年Strassen算法后进展缓慢[5] 技术实现细节 - RXTX算法对4x4矩阵仅需34次乘法运算,较Strassen算法的38次减少10%[8] - 算法采用强化学习与组合优化技术,行动空间缩小一百万倍[17][21] - 通过构建两类组合问题(MILP-A/MILP-B)筛选最优乘积集[21] 实际应用价值 - XXᵀ操作每分钟全球执行数万亿次,5%优化可带来显著能耗节省[6][8] - 适用于5G芯片设计、自动驾驶、线性回归及大语言模型训练(Muon/SOAP)[7] - 当矩阵规模n≥256时,总运算量(乘法+加法)实现5%稳定提升[15] 算法性能对比 | 指标 | Strassen算法(S(n)) | RXTX算法(R(n)) | 改进幅度 | |------|-------------------|----------------|---------| | 递归表达式 | 4S(n/2)+2M(n/2) | 8R(n/4)+26M(n/4) | 结构优化[9] | | 渐进加速 | ~2M(n) | ~0.95M(n) | 5%[9] | | 4x4实例 | 38次 | 34次 | 10%[9] | 数学理论突破 - 提出新型复杂度公式:R(n)=(26/41)n^log₂7 + (15/41)n^1.5 [12] - 总运算量公式显示156/41系数优于Strassen的4倍系数[16] - 证明n→∞时保持5%优势,打破传统复杂度理论边界[15][16]
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
量子位· 2025-05-18 13:20
矩阵乘法优化算法 - 矩阵乘法在训练和推理过程中消耗大量算力,成为计算瓶颈 [1][2] - 香港中文大学提出新算法RXTX,可节省5%-10%能源和5%时间 [3] - 针对特殊结构矩阵乘法(如XXᵀ)进行优化,突破传统算法限制 [7][8] RXTX算法技术细节 - 采用4×4分块矩阵递归乘法,结合机器学习搜索与组合优化方法 [10][11] - 递归关系式改进为R(n)=8R(n/4)+26M(n/4),渐近乘法常数降至0.6341 [16][17] - 通过线性组合26个一般矩阵乘积和8个对称乘积计算结果 [11][13][14] 性能对比数据 - 乘法次数比原算法降低5%,运算量在n≥256时优于传统算法 [21][24] - 6144×6144矩阵测试中运行时间2.524秒,比BLAS默认实现快9% [27] - 总运算量公式显示对数项消除,算法优势随矩阵规模扩大而增强 [22][23] 算法开发方法 - 采用强化学习生成候选乘积,结合MILP求解器进行枚举筛选 [31] - 限制候选空间为二维张量降低计算复杂度,借鉴AlphaTensor思路 [28] - 通过大邻域搜索迭代优化减少冗余乘积,提升算法效率 [31]