生成式AI与多模态大模型持续学习研究 - 中国科学院自动化研究所联合中国科学院香港院AI中心系统研究生成式AI和多模态大模型的持续学习 提出综述、方法、Benchmark和Codebase以支持研究者和实践者 [2] 生成式AI持续学习综述 - 论文《Continual Learning for Generative AI: From LLMs to MLLMs and Beyond》系统综述生成式AI持续学习方法 涵盖大语言模型(LLMs)、多模态大语言模型(MLLMs)、视觉语言动作模型(VLA)和扩散模型 [4][5] - 研究围绕训练目标、应用场景及技术方法 方法包括架构扩展、正则化和回放策略 评估指标包括整体性能、遗忘程度和泛化能力 [8] 多模态大模型持续学习Benchmark与方法 - 提出UCIT评测基准 通过zero-shot筛选机制构建无信息泄露风险数据集 解决预训练数据重叠导致的评估失真问题 [13] - 提出HiDe-LLaVA方法 采用分层处理机制：顶层动态专家选择实现任务自适应 其余层参数融合保留跨任务共享知识 有效缓解灾难性遗忘 [13][14] - 提出联邦连续指令微调(FCIT)基准 包含同质和异质两种现实场景 通过4种实验设置和12个数据集评估非独立同分布数据和灾难性遗忘表现 [18][20] - 提出DISCO框架 结合动态知识梳理(DKO)和子空间选择激活(SSA)策略 在FCIT基准上取得最好表现 [20][21] 多模态持续学习方法创新 - 提出ModalPrompt框架 利用图像-文本双重监督构建任务特定原型提示 实现无回放数据下的知识保留 推理速度提升1.42倍 [25][27] - 提出多模态大模型持续学习基准MLLM-CL 涵盖领域持续学习(DCL)和能力持续学习(ACL)两种设置 针对IID和非IID场景评估 [30][32] - 提出MR-LoRA方法 通过领域或能力特定的LoRA模块实现参数隔离 避免任务间干扰 在DCL和ACL任务上显著优于传统方法 [32][33] - 提出LLaVA-c改进模型 通过谱感知巩固(SAC)克服新旧知识冲突 通过无监督查询正则化(UIR)防止基础模型退化 持续学习效果首次超越多任务联合训练 [35][37] 开源代码仓库与标准化平台 - 推出MCITlib开源代码仓库 集成8种主流算法 精选UCIT和DCL两个高质量基准 避免信息泄露 提供统一公平的实验环境 [39][41][42] - 代码仓库将持续更新 扩展更多模型、任务和评测维度 为多模态大模型持续学习研究提供支持 [42] 研究团队与成果 - 核心作者包括郭海洋、朱飞、曾繁虎、刘文卓、赵宏博 通讯作者为张煦尧研究员和刘成林研究员 团队长期从事人工智能研究 成果发表于CVPR、ICCV、NeurIPS等顶级会议与期刊 [2] - 多项研究已被ACL 2025、ICCV 2025、EMNLP 2025接收 相关代码及数据已全部开源 [13][21][28]