Workflow
RULE
icon
搜索文档
ICLR 2026 Oral|多模态知识图谱对齐难:破解噪声关联至为关键
机器之心· 2026-03-06 11:28
文章核心观点 - 一篇被机器学习顶会ICLR 2026接收为Oral的论文,提出了一种名为RULE的新方法,旨在解决多模态知识图谱实体对齐任务中普遍存在的“噪声关联”和“潜隐关联”两大挑战[2][3] - 该方法通过构建统一的可靠度量化准则、实施鲁棒的多属性融合与跨图谱对齐策略,并在测试时引入关联推理模块,显著提升了实体对齐的准确性和鲁棒性[7][8] - 实验表明,RULE方法在包含人工注入噪声的严苛评估环境下,在5个广泛应用的数据集上全面领先于现有先进方法,验证了其有效性及现实数据集中噪声问题的普遍性[22][27] 研究背景与问题定义 - 多模态知识图谱能集成文本、图像、结构化关系等多模态数据,而实体对齐是构建和融合此类图谱的核心技术,旨在从不同来源的图谱中识别同一实体[2] - 现实中的大规模知识图谱融合面临“噪声关联”和“潜隐关联”的双重挑战[3] - **噪声关联**:指错误的关联匹配,例如因视觉相似将演员徐锦江的照片关联到“海王”杰森·莫玛,或因名称相似混淆不同的电影与人物实体[5] - **潜隐关联**:指看似不同但本质相同的属性,例如查询足球运动员C罗时,其关联图像是“葡萄牙国旗”,这实际代表了他的国籍,但模型可能因表面差异而无法识别[5] - 现有方法通常假设所有关联都是正确的,但据统计,部分基准测试中**超过50%的实体受噪声关联影响**,这会导致模型性能显著下降[6] 提出的解决方案(RULE方法) - 提出了**双重准则驱动的可靠度建模**,通过计算**不确定度**和**共识度**来量化实体与跨图谱关联的可靠度,以识别噪声[10][13][14] - 基于关联可靠度,实施了**鲁棒的跨图谱对齐**,采用基于Dirichlet分布的证据学习,让可靠实体对产生充足证据,约束不可靠实体对产生有限证据[15][16] - 实现了**鲁棒的多属性融合**,利用跨图谱属性-属性关联的可靠度来识别错误的实体-属性关联,并通过加权融合强调可靠属性、弱化不可靠属性来获取实体表征[17][18] - 创新性地引入了**测试时关联推理模块**,利用多模态大模型的内蕴知识,通过思维链驱动反思来挖掘属性间的潜隐关联,矫正初步对齐结果,从而提升准确率[19][20] 实验设计与结果 - 为评估鲁棒性,研究团队通过人工注入噪声构建了严苛的评估环境,噪声注入维度包括:实体-实体噪声关联、实体-属性噪声关联、属性-属性噪声关联[22][23][24] - 在**不使用名字属性**的设定下,RULE方法在**原始数据集(Inherent DNC)**上的平均H@1指标达到**73.8%**,显著高于其他对比方法(最佳对比方法PMF为68.6%)[25] - 在注入**20%噪声**和**50%噪声**的设定下,RULE的平均H@1指标分别为**70.6%** 和 **64.3%**,均大幅领先于所有对比方法,展示了卓越的抗噪声能力[25] - 在**使用所有属性**的设定下,RULE的表现更为突出,在原始、20%噪声、50%噪声设定下的平均H@1指标分别达到**98.8%**、**98.5%** 和 **97.9%**,全面领先[26][27] - 可视化分析证实,可靠度量化策略能有效区分正确与噪声关联,测试时关联推理模块能成功挖掘图像属性间的潜在关联(例如将国家徽章与地图关联到同一实体),从而提升排名[28] 研究意义与贡献 - 该研究首次系统揭示了多模态知识图谱中噪声关联与潜隐关联问题,并从多属性融合、跨图谱对齐、测试时推理三个层面探索了其负面影响[12][31] - 成功将噪声关联学习范式引入多模态实体对齐任务,拓展了噪声关联的定义外延,涵盖了实体内和跨图谱两个层面[31] - 构建了用于评估方法鲁棒性的统一基准测试,涵盖5个数据集,为后续研究提供了实验观察和评估体系[12][31] - 指出了现有基于特征相似性匹配方法的固有缺陷,提出的关联推理机制为挖掘实体间潜在关系(潜隐关联)提供了新思路,对多模态任务研究具有启发意义[31]