分布外泛化

搜索文档
软件所提出小批量数据采样策略
经济观察网· 2025-05-27 15:50
自监督学习技术突破 - 中国科学院软件研究所科研团队提出小批量数据采样策略,可消除不可观测变量语义对表征学习的干扰,提升自监督学习模型的分布外泛化能力 [1] - 分布外泛化能力指模型在"未见过"数据分布上保持与训练数据相当的性能,但此前模型易受无关变量语义干扰而削弱该能力 [1] - 新策略通过因果效应估计和隐变量模型,计算不可观测变量的平衡分数,将相同分数样本划分为同批次以消除虚假关联 [1] 实验验证与性能提升 - 在ImageNet100和ImageNet分类任务中,新策略使Top1和Top5准确率超越自监督方法SOTA水平 [2] - 半监督分类任务中Top1和Top5准确率分别提升超3%和2%,目标检测与实例分割任务平均精度获稳定增益 [2] - 少样本转移学习任务(Omniglot/miniImageNet/CIFARFS)性能提升超5%,所有实验仅调整批次生成机制无需改动模型架构 [2] 学术影响力 - 研究成果被人工智能顶级会议ICML-25(CCF-A类)接收,证实方法论的前沿性 [2]
因子选股系列之一一五:DFQ-diversify:解决分布外泛化问题的自监督领域识别与对抗解耦模型
东方证券· 2025-05-07 15:45
金融工程 | 专题报告 DFQ-diversify:解决分布外泛化问题的自 监督领域识别与对抗解耦模型 ——因子选股系列之一一五 研究结论 DFQ-Diversify 模型有效解决分布外泛化问题 ⚫ 本文提出全新模型 DFQ-Diversify,通过引入自监督领域识别与对抗训练机制,实现 标签预测任务与领域识别任务的显式解耦。该模型无需人工预设环境变量,能够自 主识别潜在领域信息,进而提取出对外部扰动不敏感、跨领域稳定的预测特征,增 强模型的分布外泛化能力。 模型创新性地引入"领域-标签"解耦框架 ⚫ 模型训练流程包含三个核心模块:update_d、set_dlabel 和 update,通过对抗训练 机制同时完成领域识别与标签预测任务,实现两者的显式解耦。 自监督动态领域划分机制提升灵活性与泛化适应能力 三重对抗训练机制增强特征解耦与迁移稳健性 与 Factorvae-pro 的对比:从静态环境变量到动态领域建模 多市场回测表现优异,泛用性强 ⚫ 模型在中证全指、沪深 300、中证 500 等多个股票池中均取得显著绩效,尤其在大 盘股表现突出。2020-2025 年间,中证全指池中 IC 达 12.22%, ...