文章核心观点 - 提出一种名为MoE-CL的参数高效对抗性混合专家架构，旨在解决工业级大语言模型在持续学习新任务时面临的知识遗忘与跨任务泛化难题，实现模型的“自进化”能力 [2][6] 方法架构 - 核心设计结合“解耦LoRA专家”与“GAN对抗降噪”，为每个任务配置专属LoRA专家以保留特定知识，同时设置共享LoRA专家通过任务感知鉴别器抑制噪声，促进跨任务知识传递 [2][8] - 采用Transformer块的LoRA增强技术，重点优化前馈神经网络层，通过引入低秩矩阵降低参数更新量与计算成本 [8] - 任务感知判别器通过交叉熵损失函数计算预测标签与真实标签的差异，确保任务共享信息的质量 [11][12][13] - 指令微调阶段通过门控网络自动生成的权重系数，对任务共享表示与任务特定表示进行加权组合以进行预测 [15][17][18] 实验效果 - 在公开基准MTL5和工业级基准Tencent3上，MoE-CL的平均准确率达到0.6342，优于所有基线方法，且方差极小（±0.0074），展现出优异的泛化能力与稳定性 [21][22] - 在腾讯真实业务场景的A/B测试中，MoE-CL在任务A场景的剔除率高达28.8%，较基线算法提升15.3%，显著降低了人工介入成本 [26][27] - 通过构建不含GAN的对比版本进行验证，结果显示含GAN的MoE专家架构在持续学习任务中平均性能显著更优，尤其在反向迁移指标上表现突出，证明GAN对防止灾难性遗忘的关键作用 [23]