闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 距第二篇研究仅过去三天，Thingking Machines发布了第三篇研究博客。 核心作者是OpenAI联创之一 John Schulman 。 Thingking Machines创始人、OpenAI前CTO Mira Murati继续转发站台。 第三篇研究是关于 LoRA参数的高效微调方法 ，题目为《LoRA Without Regret》，探究了LoRA匹配全量微调（FullFT）效率的条件，还 给出了大幅降低调参难度的简化方案。 当前主流大模型动辄万亿参数，预训练数据达数十万亿token，但下游任务往往只需要小数据集、聚焦特定领域。 用FullFT更新所有参数，资源浪费严重。 而LoRA作为参数高效微调（PEFT）的核心方法，通过低秩矩阵A和B（总参数远少于原权重）捕捉微调信息，却始终面临一个争议： 它真的 能追上FullFT的性能吗？ John Schulman和Thingking Machines团队给出了肯定答案：只要抓准关键细节，LoRA不仅能和FullFT拥有相同的样本效率，还能达到一 样的最终性能。 下面具体来看。 LoRA最优学习率 ...

机器之心报道 机器之心编辑部 LoRA 在绝大多数后训练场景下，能以远低于全量微调的成本，获得几乎同等的效果。 Thinking Machines 将这一现象形容为 LoRA 的低遗憾区间（low-regret region）——即便 不用全量微调，选择 LoRA 也不会让人后悔。 最近，Thinking Machines 真实高产啊。 今天，他们又更新了博客，力推 LoRA，且与全量微调（ Full Fine-tuning ，以 下简称 FullFT ） 进 行了对比。 博客链接： https://thinkingmachines.ai/blog/lora/ 训练大模型，到底该选全量微调还是 LoRA？ FullFT 意味着改动模型的所有参数，效果稳定但成本高昂，显存开销巨大；而LoRA 只改动一小部分 参数，轻量、便宜。但一个关键问题是 ：便宜的 LoRA，效果会不会差很多？ Thinking Machines 最新研究发现，在 小数据量任务 上，LoRA 与 FullFT 几乎没有差距，完全可以 对齐；在 大数据量任务 上，LoRA 的容量不足，承载不了过多新知识，表现略显吃力；而在 强化学习 任务 里 ...

常规 LoRA 训练的隐藏缺陷 - 参数高效微调技术是预训练大模型在下游任务应用的关键技术，但 LoRA 仍面临训练不稳定、模型融合效果差、剪枝后性能下降等问题 [4] - LoRA 优化过程常陷入初始化点附近的次优解，限制模型泛化能力 [7] - 梯度更新集中在模型顶层适配器，导致底层适配器训练不足 [7] - 多个 LoRA 模型融合和剪枝等下游操作困难，效果不佳 [7] CoTo 策略的核心思想 - 采用渐进式激活策略，训练初期以较高概率随机失活部分 LoRA 适配器，迫使梯度更均匀流向所有层级 [5] - 训练中后期线性提高适配器激活概率，直到所有适配器完全参与训练 [8] - 该策略促进层级间均衡优化，提升模型线性模式连通性和 Dropout 稳定性 [8] CoTo 的实验结果 - 在常识推理与图像分类任务中，CoTo 模型展现优越的线性模式连通性，性能过渡平滑高效 [13] - 在 GLUE 数据集上，基于 LLaMA-2 和 DeBERTa-v3 模型的 CoTo 训练 LoRA 模块多任务合并准确率稳定超越基线 [13] - CoTo 增强模型剪枝容错能力，在结构化和非结构化剪枝中性能全面超越标准 LoRA [17] CoTo 的性能与效率 - 在视觉、语言和数学推理等多个领域基准测试中，CoTo 稳定提升多种 LoRA 变体性能 [24] - 在 HiRA 上应用 CoTo 可实现超 24% 的训练加速 [24] - 代码实现简洁，只需对现有 LoRA 训练流程做三步改动即可应用 [22] CoTo 的总结 - 通过渐进式训练策略有效解决 LoRA 训练中的层级不平衡和优化问题 [23] - 提升模型单任务泛化能力，增强 LoRA 适配器可组合性与鲁棒性 [23] - 无需修改模型架构，可作为即插即用模块与各类 LoRA 方法无缝集成 [23]

多模态大模型微调方法研究 核心观点 - 当前多模态大模型微调方法直接沿用单模态策略（如LoRA），忽视模态异质性导致信息利用不足 [2][8] - 研究团队提出MokA方法，首次同时兼顾单模态独立建模（Unimodal Adaptation）和跨模态交互建模（Cross-modal Adaptation）[9][12] - 实验证明MokA在音频-视觉-文本、视觉-文本、语音-文本三大场景中性能显著超越现有方法 [19][20][21][22] 方法论创新 - **模态特异A矩阵**：为每种模态设置独立参数空间，避免信息压缩干扰 [15] - **跨模态注意力机制**：在低秩空间显式强化文本与非文本模态的任务关联 [16] - **共享B矩阵**：将独立模态投影至共享空间实现隐式对齐 [17] 实验结果 音频-视觉-文本场景 - LLaMA2基座上MokA准确率达75.71（LoRA基线73.41）[20] - Qwen2.5-VL基座提升1.87个百分点至74.87 [20] - LLaMA3基座实现当前最高79.15准确率 [20] 视觉-文本场景 - MMEpercep评测中MokA得分1292.37（Qwen2基座），较LoRA提升21.7% [21] - SEED-Bench准确率提升2.85个百分点至58.10 [21] 架构优势 - 参数量仅需N个A矩阵+1个B矩阵，保持LoRA高效特性 [20][21] - 兼容LLaMA/Qwen等主流基座模型 [19] 行业意义 - 为多模态大模型微调提供新范式，突破单模态策略迁移的局限性 [12][23] - 开源项目已覆盖三大高频应用场景，具备商业化落地潜力 [5][19]

核心观点 - LoRI技术通过大幅减少LoRA的可训练参数（仅5%），在数学推理、代码生成、安全对齐及自然语言理解任务上匹配或超越全量微调、标准LoRA和DoRA的性能 [1] - LoRI冻结低秩矩阵A并采用任务特定稀疏掩码训练矩阵B，通过校准过程保留关键元素，实现90%稀疏度下仍保持性能 [4] - 在Llama-3-8B和Mistral-7B模型上，LoRI-S（0.05%参数）比LoRA减少95%可训练参数，HumanEval任务性能提升17.3% [9][17] 技术原理 - LoRI将权重更新分解为低秩矩阵，固定随机投影矩阵A，仅稀疏训练矩阵B，显著降低参数干扰 [4][13] - 通过幅度选择校准提取稀疏掩码，保留B中最高幅度元素，实现跨任务参数隔离 [4] - 与IA3的区别：IA3学习缩放向量调整激活函数，而LoRI基于低秩矩阵分解并应用固定稀疏掩码 [15][16] 性能表现 - 单任务测试：LoRI-D（0.54%参数）在8项NLU任务平均得分87.3，超越LoRA（87.1）和DoRA（87.1） [19] - 代码生成：Llama-3-8B上LoRI-D在HumanEval的Pass@10达63.2%，显著高于LoRA（50.8%） [19] - 安全对齐：LoRI-S在HEx-PHI任务得分95.9%，优于LoRA（91.6%）和DoRA（93.6%） [19] 多任务应用 - 适配器合并：LoRI串联融合方案在异构任务（NLU/数学/代码/安全）中性能接近单任务基线，干扰最小化 [20] - 持续学习：LoRI-S通过90%稀疏掩码实现安全对齐遗忘率最低，安全→NLU任务中参数隔离效果显著 [22] - 两阶段训练：先安全对齐后任务适配的策略使LoRI在保持安全性的同时提升下游任务表现 [22] 实验设置 - 基准模型：Llama-3-8B（8.03G参数）和Mistral-7B（7.24G参数） [17][19] - 硬件配置：8块NVIDIA A5000 GPU完成所有实验 [17] - 对比方法：全量微调（FFT）、标准LoRA（1%参数）、DoRA（1.05%参数） [19]