CAMEL (Collaborative Assistance Mixture of Experts Learning)
搜索文档
AAAI 2026 Oral | 给多流数据配「私教+外援」,漂移来了也不慌
机器之心· 2026-01-01 11:42
研究背景与问题定义 - 在智慧城市、社交媒体、工业物联网等真实开放动态环境中,数据以多流形式并发产生,存在异构性且分布变化各不相同,伴随复杂的异步概念漂移,这与经典机器学习的独立同分布假设存在根本冲突[2][4] - 现有研究大多聚焦于单一或同构数据流的漂移建模,难以应对真实世界中普遍存在的多源异构数据流情形,现有方法往往陷入两难:强行统一处理导致模型失配,或采用静态模型导致灾难性遗忘或负迁移[4] 解决方案:CAMEL框架 - 悉尼科技大学研究团队提出一种全新的漂移感知协作辅助混合专家学习框架CAMEL,该框架巧妙地将混合专家模型引入流式学习,通过私有专家与辅助专家的协作机制以及自动化专家生命周期管理,解决异构多流学习的关键问题[2] - CAMEL是一种动态的、通过协作辅助的混合专家学习框架,通过模块化设计在专精、协作与适应之间取得平衡,旨在让模型既能专精于单一流特性,又能利用流间相关性,同时自适应分布变化[2][5] 方法论与架构设计 - 针对内在异构性挑战,CAMEL为每个流配置异构感知的独立系统,包括专属的特征提取器将不同维度输入映射到公共潜在空间,以及任务特定分类头确保决策层与标签空间的语义对齐[9][10][14] - 针对多流知识融合挑战,CAMEL为每个流维护捕捉自身特性的私有专家库,并引入辅助专家,该专家利用多头注意力机制以当前流特征为Query,以其他并发流特征为Key和Value,生成上下文向量,从而自主决定从哪些流借力并抑制负迁移[11] - 针对异步概念漂移挑战,CAMEL设计了自主专家调优器,在专家粒度上实现模型容量的在线伸缩,遵循测试、诊断、适应的闭环逻辑,能够自适应处理多流之间的异步漂移[12] 理论分析与实验验证 - 基于多任务学习理论,论文证明了CAMEL的泛化误差上界,其期望风险由平均经验风险、流间不相似度以及样本复杂度项构成,为框架在复杂环境下的鲁棒性提供了数学保证[14] - 实验验证中,研究团队构建了包含12个合成流和4个真实数据集的8大基准场景,涵盖天气、新闻、信用卡信息等,表1结果表明CAMEL在几乎所有场景中实现了最先进的平均准确率[16] - 在合成数据集Set 1 (Tree Homo.) 上,CAMEL在S1、S2、S3流的准确率分别为65.78%、68.27%、66.48%,平均为66.84%,优于其他基线方法[17] - 在合成数据集Set 2 (Hyperplane Homo.) 上,CAMEL在S1、S2、S3流的准确率分别为91.85%、92.12%、91.84%,平均为91.94%,表现优异[17] - 在真实数据集Set 5 (TV News Homo.) 上,CAMEL在CNN、BBC、TIMES流的准确率分别为80.06%、79.66%、80.90%,平均为80.21%[17] - 在真实数据集Set 6 (Weather Homo.) 上,CAMEL在S1、S2、S3流的准确率分别为82.04%、78.33%、79.39%,平均为79.92%[17] - 在真实数据集Set 7 (Credit card Hete.) 上,CAMEL在S1、S2、S3流的准确率分别为80.42%、81.93%、80.37%,平均为80.91%[17] - 在真实数据集Set 8 (CoverT. Hete.) 上,CAMEL在S1、S2、S3流的准确率分别为86.97%、62.91%、82.22%,平均为77.37%[17] 研究意义与结论 - CAMEL的提出标志着多流学习从静态同构向动态异构迈出了关键一步,该框架以私有专家保障流内专精,以辅助专家挖掘跨流关联,并通过自动化的专家生命周期管理在漂移下实现持续适应与效率控制[19] - 该框架为复杂、动态演化的异构多流场景提供了一种可扩展的解决方案,其工作已被AAAI 2026接收为Oral论文[2][19]