Ubiquant团队 投稿 量子位 | 公众号 QbitAI 无需标注数据、无需繁琐奖励设计，只用10步就能见效—— 「熵最小化」或许比强化学习更适合大语言模型快速升级 。 强化学习（RL）近年来在大语言模型（LLM）的微调中大获成功，但高昂的数据标注成本、复杂的奖励设计和漫长的训练周期，成为制约RL 进一步应用的瓶颈。 Ubiquant研究团队提出了一种极为简单有效的无监督方法——One Shot熵最小化（Entropy Minimization，EM），仅用一条无标签数据， 训练10步内即可显著提升LLM性能，甚至超过使用成千上万数据的RL方法。 一、从RL到EM：LLM微调的困境与新思路 当前，大语言模型（LLM）在经过海量数据预训练后，展现出了惊人的通用能力。然而，要让模型在特定、复杂的推理任务（例如数学、物理 或编程）上达到顶尖水平，后训练（post-training）主流后训练方法是采用强化学习（RL），特别是结合可验证奖励的强化学习（RLVR）。 尽管基于RL的微调在提升模型性能上取得了显著进展，但其过程却面临着一系列明显的弊端，使得这种方法成本巨大且过程繁琐。 相较之下，熵最小化（EM）提出了 ...