机器之心报道 编辑：张倩 LoRA 中到底存在多少参数冗余？这篇创新研究介绍了 LoRI 技术，它证明即使大幅减少 LoRA 的可训练参数，模型性能依然保持强劲。研究 团队在数学推理、代码生成、安全对齐以及 8 项自然语言理解任务上测试了 LoRI。发现仅训练 LoRA 参数的 5%（相当于全量微调参数的约 0.05%），LoRI 就能匹配或超越全量微调、标准 LoRA 和 DoRA 等方法的性能。 大型语言模型的部署仍然需要大量计算资源，特别是当需要微调来适应下游任务或与人类偏好保持一致时。 为了降低高昂的资源成本，研究人员开发了一系列参数高效微调（PEFT）技术。在这些技术中，LoRA 已被广泛采用。 不过，LoRA 仍然会带来显著的内存开销，尤其是在大规模模型中。因此，近期研究聚焦于通过减少可训练参数数量进一步优化 LoRA。 最近的研究表明，增量参数（微调后的参数减去预训练模型参数）存在显著冗余。受随机投影有效性和增量参数冗余性的启发，来自马里兰大学和清华大学的研 究者提出了带有降低后的干扰的 LoRA 方法—— LoRI（LoRA with Reduced Interference） 。 LoRI ...