研究核心观点 - Thinking Machines发布第三篇研究博客，核心作者为OpenAI联创John Schulman，OpenAI前CTO Mira Murati为其转发站台[1] - 研究证实LoRA参数高效微调方法在抓准关键细节后，不仅能与全量微调拥有相同的样本效率，还能达到一样的最终性能[7] - 研究给出了大幅降低LoRA调参难度的简化方案[3][22] 研究背景与问题 - 当前主流大模型参数达万亿级别，预训练数据达数十万亿token，但下游任务通常只需小数据集且聚焦特定领域[6] - 全量微调更新所有参数会导致资源浪费严重，而LoRA作为参数高效微调方法，通过低秩矩阵捕捉微调信息，但始终面临能否追上全量微调性能的争议[7] 核心研究发现 - 在中小数据集微调场景下，高秩LoRA（如秩512）的学习曲线与全量微调几乎完全重合，损失值均随训练步数呈对数线性下降[9][11] - 仅在数据集规模远超LoRA自身容量的极端情况下，其训练效率才会出现下滑，但这种情况在多数后训练场景中极少出现[11] - 在数学推理类强化学习任务中，即便将LoRA的秩降低至1，其性能依旧能与全量微调持平，因为强化学习每轮训练仅需依靠scalar优势函数吸收O(1)比特信息，秩1 LoRA的参数容量已满足需求[13][14] LoRA应用优化策略 - LoRA应用需实现全层覆盖而非仅聚焦注意力层，因为模型梯度的主导权掌握在参数数量更多的层手中[15][21] - 仅作用于注意力层的LoRA表现明显落后，即便提升秩来匹配参数量，性能差距依然显著[16][17] - 当LoRA应用于模型所有层（尤其是参数占比最高的MLP层与MoE层）时，性能得到极大提升，仅在MLP层单独应用LoRA效果就与组合应用相差无几[19] 调参简化方案 - LoRA的最优学习率存在明确规律，始终约为全量微调的10倍，这一比例在14个不同模型的测试中几乎保持恒定[12][22] - 得益于1/r缩放因子的作用，不同秩LoRA的最优学习率差异极小，在秩4至秩512范围内变化幅度不足2倍，短期训练任务中甚至可忽略秩对最优学习率的影响[22] - LoRA的4个潜在超参数中有2个属于冗余参数，实际调试只需重点关注"初始更新规模"与"A矩阵偏离初始状态的步数"两个维度，这将调参难度降低了一半[25][26] 作者背景 - 研究核心作者John Schulman为OpenAI联创，在OpenAI工作9年期间领导了从GPT-3.5到GPT-4o的一系列对齐/后训练工作，被誉为ChatGPT架构师[27][28] - John Schulman学术引用近14万，其代表作PPO算法是ChatGPT核心技术RLHF中选用的强化学习算法[29] - John Schulman现以首席科学家身份加入Thinking Machines，旨在回归核心技术领域[30]

机器之心报道 机器之心编辑部 LoRA 在绝大多数后训练场景下，能以远低于全量微调的成本，获得几乎同等的效果。 Thinking Machines 将这一现象形容为 LoRA 的低遗憾区间（low-regret region）——即便 不用全量微调，选择 LoRA 也不会让人后悔。 最近，Thinking Machines 真实高产啊。 今天，他们又更新了博客，力推 LoRA，且与全量微调（ Full Fine-tuning ，以 下简称 FullFT ） 进 行了对比。 博客链接： https://thinkingmachines.ai/blog/lora/ 训练大模型，到底该选全量微调还是 LoRA？ FullFT 意味着改动模型的所有参数，效果稳定但成本高昂，显存开销巨大；而LoRA 只改动一小部分 参数，轻量、便宜。但一个关键问题是 ：便宜的 LoRA，效果会不会差很多？ Thinking Machines 最新研究发现，在 小数据量任务 上，LoRA 与 FullFT 几乎没有差距，完全可以 对齐；在 大数据量任务 上，LoRA 的容量不足，承载不了过多新知识，表现略显吃力；而在 强化学习 任务 里 ...

核心观点 - LoRI技术通过大幅减少LoRA的可训练参数（仅5%），在数学推理、代码生成、安全对齐及自然语言理解任务上匹配或超越全量微调、标准LoRA和DoRA的性能 [1] - LoRI冻结低秩矩阵A并采用任务特定稀疏掩码训练矩阵B，通过校准过程保留关键元素，实现90%稀疏度下仍保持性能 [4] - 在Llama-3-8B和Mistral-7B模型上，LoRI-S（0.05%参数）比LoRA减少95%可训练参数，HumanEval任务性能提升17.3% [9][17] 技术原理 - LoRI将权重更新分解为低秩矩阵，固定随机投影矩阵A，仅稀疏训练矩阵B，显著降低参数干扰 [4][13] - 通过幅度选择校准提取稀疏掩码，保留B中最高幅度元素，实现跨任务参数隔离 [4] - 与IA3的区别：IA3学习缩放向量调整激活函数，而LoRI基于低秩矩阵分解并应用固定稀疏掩码 [15][16] 性能表现 - 单任务测试：LoRI-D（0.54%参数）在8项NLU任务平均得分87.3，超越LoRA（87.1）和DoRA（87.1） [19] - 代码生成：Llama-3-8B上LoRI-D在HumanEval的Pass@10达63.2%，显著高于LoRA（50.8%） [19] - 安全对齐：LoRI-S在HEx-PHI任务得分95.9%，优于LoRA（91.6%）和DoRA（93.6%） [19] 多任务应用 - 适配器合并：LoRI串联融合方案在异构任务（NLU/数学/代码/安全）中性能接近单任务基线，干扰最小化 [20] - 持续学习：LoRI-S通过90%稀疏掩码实现安全对齐遗忘率最低，安全→NLU任务中参数隔离效果显著 [22] - 两阶段训练：先安全对齐后任务适配的策略使LoRI在保持安全性的同时提升下游任务表现 [22] 实验设置 - 基准模型：Llama-3-8B（8.03G参数）和Mistral-7B（7.24G参数） [17][19] - 硬件配置：8块NVIDIA A5000 GPU完成所有实验 [17] - 对比方法：全量微调（FFT）、标准LoRA（1%参数）、DoRA（1.05%参数） [19]