UniME-V2团队 投稿 量子位 | 公众号 QbitAI 统一多模态嵌入模型 是众多任务的技术基石。 当前主流方法通常采用批内负例挖掘策略，通过计算查询-候选对的相似度进行训练。 通过将模型相似度矩阵与软语义匹配分数矩阵对齐，使模型真正学会辨析候选样本间的语义差异，显著提升判别能力。 为进一步提升性能，团队基于挖掘的困难负例训练出重排序模型UniME-V2-Reranker，采用配对与列表联合优化策略。 以匹配分数为依据实现精准困难负例挖掘，有效规避错误负例干扰 确保筛选出的困难负例兼具多样性与高质量特性 通过软标签机制打破传统一对一的刚性映射约束 但这类方法存在明显局限： 难以捕捉候选样本间细微的语义差异，负例样本多样性不足，且模型在区分错误负例与困难负例时的判别能力有 限。 针对这些问题，团队提出全新解决方案——基于多模态大模型语义理解能力的 统一多模态嵌入模型 UniME-V2。 该方法首先通过全局检索构建潜在困难负例集，随后创新性地引入"MLLM-as-a-Judge"机制：利用MLLM对查询-候选对进行语义对齐评估， 生成软语义匹配分数。 这一设计带来三重突破： 图1 UniME-V2与以往方法 ...