大语言模型的灾难性遗忘研究 核心观点 - 大语言模型(LLMs)的灾难性遗忘本质是功能激活偏差而非能力覆盖，表现为新任务学习时旧任务功能未被正确激活[1][2] - 函数向量(FVs)可作为量化遗忘现象的工具，其相似度与模型性能下降呈强相关性(R²=0.873)[26][27] - 提出的FVG训练方法通过正则化技术保留函数向量，在持续学习任务中显著提升模型通用能力[44][51] 遗忘现象特征 - 任务类型差异：生成任务序列导致的遗忘程度(如NI-Seq-G1使Llama3-8b通用任务性能下降10.7%)显著高于分类任务(4.48%)[11][20] - 模型依赖性：Llama2-7b在混合任务序列(NI-Seq-M1)中遗忘指数达4.69，而Mistral-7b同条件下仅4.95[11] - 动态可逆性：训练初期性能下降后可能出现恢复，表明部分遗忘能力可被重新激活[20] 函数向量机制 - 构建方法：通过干预前10个关键注意力头(layer-head)的平均激活值(CE值最高)求和获得[15][18][21] - 作用原理：函数向量偏移导致输入激活机制变化，而非旧功能被覆盖(相似度降低时性能下降30%+)[26][35] - 验证实验：插入旧任务函数向量可使被遗忘任务性能恢复83%以上[43] FVG训练方法 - 双重正则化： 1) 函数向量一致性损失(L2距离约束层头激活值变化)[44] 2) KL散度损失保持零样本与干预输出的概率分布对齐[46] - 优化目标：联合损失函数平衡系数λ₁=0.1，λ₂=0.01时效果最佳[48] - 实测效果：在SuperNI数据集上使上下文学习性能下降减少19.6%(对比基线)[11][51] 技术实现细节 - 实验设置：采用6种任务序列(生成/分类/混合)评估GP/IP/FP三大指标[10][11] - 模型对比：涵盖Llama2-7b/13b、Llama3-8b、Mistral-7b等主流架构[11] - 数据公开：代码及实验数据已在GitHub开源，论文获ICLR2025 oral收录[3][54]