IDEAL团队 投稿 量子位 | 公众号 QbitAI 大幅缓解LLM偏科，只需调整SFT训练集的组成。 本来不擅长coding的Llama 3.1-8B，代码能力明显提升。 上海交大&上海AI Lab联合团队提出创新方法 IDEAL ，可显著提升LLM在多种不同领域上的综合性能。 此外，研究还有一些重要发现，比如： 具体来看—— IDEAL方法 问题建模： 首先按照不同 的领域准备高质量的训练数据集： ， 并给出对应的用于验证的验证集： 。通过在训练集上面训练模型θ，获得训练集上的最优参数：θ 论文 希望在验证 集上的损失达到最小。为了能够方便的调整训练集，论文引入了对应的变量β ，并将这个优化问题 显示地建模了出来： SFT后LLM部分能力甚至退化 大型语言模型 (LLM) 凭借其强大的理解和逻辑推理能力，在多个领域展现了惊人的能力。除了模型参数量的增大， 高质量的数据是公认的LLM性能提升最关键的影响因素。 当对模型进行监督微调（SFT）时，研究人员发现 LLM在多任务场景下常出现"偏科"现象 ——部分能力突出而部分 能力并未涨进，甚至退化。这种不平衡的现象导致大模型在不同的领域上能力不同，进而影响用户 ...