核心观点 - 中国人民大学高瓴人工智能学院和字节跳动Seed团队合作，将大语言模型训练中的μP理论扩展到diffusion Transformers的训练中，实现了不同大小模型共享最优超参，显著减少超参搜索耗费 [1][2] - 在DiT、PixArt和MMDiT上的实验验证表明，小模型搜索的超参可直接用于大模型训练，计算量仅为人工手调的3%左右，且效果优于人工基线 [2][21][24] - μP理论通过调整网络不同模块的初始化和学习率，使得超参在不同规模diffusion Transformers间可迁移，解决了大规模模型训练中超参调优难题 [7][10] μP理论背景 - μP全称为最大更新参数化，是Tensor Program无穷宽网络理论系列的重要成果，已被证明适用于标准Transformer架构 [7] - μP算法实现简洁，只需调整隐藏层学习率和输出层权重系数及初始化，即可实现不同大小Transformer共享最优超参 [7] - μP已被成功应用于大语言模型预训练，带来稳定的超参迁移性质 [7] diffusion Transformers的挑战 - diffusion Transformers在架构上引入了额外模块处理文本信息，任务目标也与语言模型不同，导致已有μP形式不一定适用 [8] - 团队从理论和实践上系统研究了主流diffusion Transformers（DiT、U-ViT、PixArt-α、MMDiT）的μP形式 [9][10] 实验验证 DiT网络验证 - 在ImageNet数据集上验证：当网络宽度、批量大小和训练步数足够大时，超参可稳定迁移 [12] - 将最优超参迁移到DiT-XL-2训练，收敛速度达原论文的2.9倍（2.4M步即超过7M步效果） [15] PixArt-α验证 - 在0.04B代理模型搜索学习率后迁移到0.61B模型，搜索计算量仅为一次训练的5.5% [20] - μP版本在训练中稳定优于基线效果 [20] MMDiT大规模验证 - 在18B规模验证，0.18B模型搜索超参计算量仅为人工手调的3% [21][24] - 学习率影响最关键，warmup步数影响不大，迁移到18B模型后效果稳定优于人工基线 [21][24]