Workflow
中科大ICLR2025:特定领域仅用5%训练数据,知识准确率提升14%
量子位·2025-04-07 12:19

KG-SFT团队 投稿 量子位 | 公众号 QbitAI 让大语言模型更懂特定领域知识,有新招了! 来自中国科学技术大学MIRA实验室的王杰教授团队提出了提出了一个创新的框架—— 知识图谱驱动的监督微调(KG-SFT) ,该框架通过 引入知识图谱(KG)来提升大语言模型(LLMs)在特定领域的知识理解和处理能力。 实验结果表明,其在多个领域和多种语言的数据集上取得了显著的效果, 成功入选ICLR 2025 。 截至目前,LLMs在常识问答方面表现越来越出色,但它们对领域知识的理解和推理能力仍然有限。 由于难以深入理解专业领域问答背后所蕴含的复杂知识和逻辑关系,因此在面对这类问题时,往往无法准确地给出正确的答案和详细的推理过 程,这极大地限制了其在专业领域的应用价值。 尤其是在数据稀少和知识密集型的场景中, 如何让LLMs更好地理解和操纵知识,成为了研究的关键 。 而中科大MIRA实验室的这项工作即围绕此展开。 KG-SFT是如何工作的 KG-SFT针对LLMs难以理解领域问答背后的知识和逻辑,导致 推理能力弱 的问题,提出 基于知识图谱增强的大语言模型监督微调 技术。 KG-SFT首先通过解析领域知识图谱中的 ...