CAFT团队 投稿 量子位 | 公众号 QbitAI 告别Next-token，现在模型微调阶段就能直接多token预测！ 从GPT到Claude，当前主流LLM都依赖 next-token prediction （下一token预测） 进行训练，但它却让AI很难真正理解跨越多token的完 整概念。 于是南洋理工大学最近提出了一项新技术—— 概念感知微调 （CAFT） ，首次实现将 multi-token prediction （多token预测） 引入微调 阶段，让模型能够像人类一样理解和学习完整概念。 原来LLM只能碎片化理解每个token，现在CAFT可以为模型添加额外的 辅助头 ，在主模型学习下一个词的同时，帮助学习后续token，并通 过 动态调整权重 ，确保模型始终优先优化主要任务的损失。 最终LLM可以兼顾多token概念学习，形成更为完整的认知，在推理和生成能力增强的同时，既不会影响模型本身，也不会额外增加多余成 本。 Next-token将会在预训练里的大规模语料上学习语言统计规律与通识知识，然后在微调中通过特定任务数据学习具体行为模式，决定模型实 际表现。 但无论是预训练还是微调，nex ...