高维时序预测
搜索文档
高维时序预测的ImageNet时刻!首个高维时序预测基准发布,模型领跑多数据集SOTA
量子位· 2025-10-28 16:04
文章核心观点 - 时间序列预测领域正从处理几百维的低维数据集转向处理变量数高达两万的高维复杂系统,这标志着该领域进入“高维赛场”[1][6] - 全华人团队发布了业界首个专为高维时间序列预测设计的大规模基准Time-HD,并配套开源框架Time-HD-Lib,系统性地填补了高维时序预测评测的空白[2][3] - 团队同时提出了新型预测模型U-Cast,该模型在多个数据集上能将预测误差降低15%,训练速度提升近一倍,展现出显著的性能与效率优势[4][37] Time-HD基准的核心特性 - 基准涵盖16个高维数据集,变量数量范围从1,161到20,000,显著高于常用基准(如ETT、Traffic等通常仅包含7-862个通道)[3][11][12] - 数据来源兼具模拟数据集(如Neurolib和SIRS)和真实世界观测数据,支持科学建模与真实场景泛化能力评估[14] - 提供不同规模的数据集,包含4个GB级大规模、8个数百MB级中等规模和4个数十MB级小规模数据集,适应从单GPU到分布式训练的不同计算需求[15][16] - 覆盖从毫秒到天的多种采样频率,并采用与频率对应的预测长度,更贴近实际预测需求[17][18] - 数据集来自神经科学、能源、云计算、气象、金融等10个不同领域,支持通用型预测模型的开发与评估[19][20] U-Cast模型的技术创新与性能 - 模型采用层级式潜查询网络,通过一小组可学习的潜查询从高维变量中筛选并压缩关键信息,避免了传统全局注意力计算的高计算成本[22][25][35] - 引入全秩正则化机制,通过约束表示空间保持高秩多样性来减少通道间冗余信息,促使模型学习更独立且结构化的特征表示[30][31][41] - 在16个数据集的评测中,U-Cast在12个数据集的MSE指标上排名第一,与iTransformer相比平均预测误差降低15%[36] - 在达到最低预测误差的同时,U-Cast的训练速度(12ms/iter)和显存占用(0.2GB)远低于iTransformer(20.8ms/iter, 2.8GB),效率提升显著[37] 对行业发展的意义 - Time-HD基准的发布为时序预测领域提供了类似CV中ImageNet或NLP中GLUE的大规模评测基础,有望推动该领域取得关键突破[9][43] - 高维环境能真正释放通道依赖型模型的价值,而此前在低维数据集上此类模型相比通道独立型模型优势不明显[9] - 此项研究为探索更大规模、更真实场景的时序预测开辟了新方向,未来高维时序预测研究有望迎来新一轮创新浪潮[42][43]