优化器研究背景与现状 - Adam及AdamW长期主导开放权重语言模型预训练 帮助模型在海量数据下保持稳定并实现较快收敛[1] - 预训练已成为计算密集型任务代表 在大模型研发中构成最主要计算开销 优化器设计直接关系到收敛速度与计算成本[1] - 矩阵型预条件子优化器（如Muon、Soap、Kron）相比严格调优的AdamW可实现30–40%的迭代级别加速[1] - 尽管存在声称提供1.4至2倍加速的替代方案 AdamW仍是预训练的稳健首选 但矩阵型方法在特定数据-模型比例下展现优势[1] 研究方法论缺陷 - 基线模型存在超参数调优不足问题：仅调优学习率一个参数就可在1.3亿参数模型上实现2倍加速[3][6] - 固定共享超参数导致比较不公平：例如Lion优化器偏好0.6权重衰减值 而标准AdamW常用0.1[4] - 测试规模不足：多数测试使用参数远小于10亿的小型模型或1倍Chinchilla数据配比[7] - 早期训练检查点可能产生误导：学习率衰减阶段不同方法的损失曲线可能交叉导致最终排名反转[7] 优化器性能比较 - 基于矩阵的优化器（Kron、Soap、Muon）性能稳定优于基于标量的优化器（AdamW、Nesterov AdamW、Mars）[9] - 小规模模型加速效果显著但随规模增大而衰减：在10亿参数以下模型加速比达1.3-1.4倍 但12亿参数时衰减至1.1倍[9] - 最优选择与场景相关：标准Chinchilla比例下Muon表现最佳 数据量相对模型规模提升至8倍以上时Soap更优[11] - 实际加速效果普遍低于声称水平：所有测试中加速比均未超过1.4倍[19][22] 实验设计与方法 - 研究涵盖11种优化器 包括AdamW、NAdamW、Mars、Cautious、Lion、Adam-mini、Muon、Scion、Kron、Soap和Sophia[10][13] - 测试多种模型规模（1亿至12亿参数）和数据-模型比例（Chinchilla最优比例的1倍至8倍）[9][17] - 采用三阶段评估方法：通用设置确定实验环境 独立超参数调优确保公平性 敏感超参数识别扩展规模测试[14][16][20] - 使用混合数据集（DCLM-baseline、StarCoder V2、ProofPile 2）和LLaMA-3分词器确保训练数据丰富性[13] 关键研究发现 - 独立调优至关重要：不同优化器最优超参数配置差异显著 缺乏独立调优会导致比较不公平且加速效果被高估[15][18] - 短期评估具有误导性：随着训练进行和学习率衰减 不同优化器性能排名可能发生逆转[15] - 矩阵方法性能领先：所有最快优化器都采用基于矩阵的预条件子而非逐元素标量缩放[15] - 加速比随规模扩展衰减：Muon在1.2B参数模型上加速比降至1.2倍以下 在高数据-模型比例下Soap和NAdamW表现更优[25][26] 案例研究结果 - 超参数预测有效性验证：1.2B模型在1倍Chinchilla数据量下预测配置与实际最优配置性能差异极小[23] - 极端数据比例测试：在16倍Chinchilla数据量下 Soap在300M模型上超过Muon NAdamW和Soap在130M模型上超越Muon[25][26] - 二阶动量有效性：在高数据-模型比例下 Soap和Kron维持的二阶动量变得更为有效[26]