机器之心报道 机器之心编辑部 LoRA 在绝大多数后训练场景下，能以远低于全量微调的成本，获得几乎同等的效果。 Thinking Machines 将这一现象形容为 LoRA 的低遗憾区间（low-regret region）——即便 不用全量微调，选择 LoRA 也不会让人后悔。 最近，Thinking Machines 真实高产啊。 今天，他们又更新了博客，力推 LoRA，且与全量微调（ Full Fine-tuning ，以 下简称 FullFT ） 进 行了对比。 博客链接： https://thinkingmachines.ai/blog/lora/ 训练大模型，到底该选全量微调还是 LoRA？ FullFT 意味着改动模型的所有参数，效果稳定但成本高昂，显存开销巨大；而LoRA 只改动一小部分 参数，轻量、便宜。但一个关键问题是 ：便宜的 LoRA，效果会不会差很多？ Thinking Machines 最新研究发现，在 小数据量任务 上，LoRA 与 FullFT 几乎没有差距，完全可以 对齐；在 大数据量任务 上，LoRA 的容量不足，承载不了过多新知识，表现略显吃力；而在 强化学习 任务 里 ...