核心观点 - 研究团队针对参数高效微调模块合并性能不佳的问题，提出了“方向鲁棒性”概念，指出根本原因是“方向不鲁棒”而非传统认为的“符号冲突”[7][8][10] - 团队提供了一个名为RobustMerge的解决方案，该方案无需额外成本且简单高效，能显著提升PEFT模块合并性能[2][10][17] - 该方法为构建快速适应多任务、节省计算资源的AI系统提供了关键技术支持，并已在顶级会议NeurIPS 2025上被评为Spotlight论文[2][3] 问题定义与挑战 - 多模态大模型参数规模巨大，全量微调成本过高，使得参数高效微调成为主流选择[7] - LoRA等PEFT方法虽能快速适应单一任务，但缺乏将多个专家模型有效合并为通用模型的能力[7] - 传统多任务学习存在训练成本高和数据隐私两大问题，而直接将FFT时代的模型合并方法用于PEFT模块时效果显著下降[7][8] 技术原理与发现 - LoRA模块参数分布更广且奇异值存在显著差异，导致合并时尾部奇异值方向不稳定[12][14] - 头部奇异值代表任务特定知识，方向稳定；尾部奇异值代表通用知识，方向敏感易变[14][15] - 成功的PEFT合并关键在于保护低秩空间中每个奇异向量的方向，特别是奇异值较小的向量[16][17] RobustMerge方法 - 采用两阶段策略：修剪与参数互补缩放、跨任务归一化，整个过程无需训练[17][19][23] - 第一步通过修剪无效参数和参数互补缩放，自适应增强尾部奇异值方向稳定性[19][20][21][22] - 第二步通过跨任务归一化平衡不同任务缩放系数，确保泛化性能不受数据量差异影响[23][24] - 最终将调整后的PEFT模块进行加权融合，得到具备多任务知识的通用模型[25][26] 实验结果 - 在自建基准MM-MergeBench上测试，包含8个已见任务和4个未见任务[28] - 在已见任务上平均准确率相较传统方法提升3.4%，在未见任务上平均性能提升4.5%[29][31] - 在POPE、MME等通用能力基准上也取得领先结果，POPE达87.2，MME达1494.9[32][33] - 通过方向相似性和奇异值保留比率量化验证了方法能有效维持小奇异值向量的方向和幅度[35][36][38] 应用价值与前景 - 可应用于多任务模型快速部署，帮助企业将多个业务场景的LoRA模块融合为全能模型，降低服务成本[44][45] - 适用于联邦学习和持续学习场景，在保护数据隐私的前提下实现模型迭代[44][45] - 其方向鲁棒性的核心思想具有强普适性，可扩展至推荐系统、多模态数据分析等多个领域[42][43]