Workflow
任务关系中心
icon
搜索文档
破解可塑性瓶颈,清华团队新作刷榜持续学习:可迁移任务关系指导训练
36氪· 2025-12-02 08:56
清华团队用「任务关系」破解AI学完就忘的难题,提出的H-embedding guided hypernet先算新旧任务的亲疏关系,再让超网络按关系生成专属 模型参数,低维小向量即插即用,在ImageNet-R等测试把遗忘率再降一成。 持续学习(Continual Learning,CL)是人工智能系统迈向长期智能的重要能力。其核心目标是让模型在任务序列中不断吸收新知识,同时维持甚至提升 旧任务的表现。 然而,在主流深度学习框架下,模型在学习新任务时往往会显著遗忘旧知识,即「灾难性遗忘」(Catastrophic Forgetting),这是限制持续学习走向大规 模实用的关键瓶颈。 现有CL方法大致可分为三类:基于数据回放的重放方法、基于参数约束的正则化方法,以及基于模型结构的动态扩展方法。尽管它们都在不同程度上缓 解了遗忘,但一个根本问题始终被忽视: 大多数CL方法仍从「模型中心」视角出发,而缺乏对任务之间内在关系的建模和利用。 然而,任务关系直接决定了知识迁移的方向与效率:哪些任务之间协同度高,哪些任务之间冲突大,哪些旧任务对新任务有帮助,哪些新任务可能破坏已 有能力——这些信息对于稳健的持续学习至关重要。 ...