AI生成图像检测技术 - 核心观点：厦门大学与腾讯优图实验室联合提出AIGI-Holmes方法，通过"大模型+视觉专家"协同架构解决AI生成图像检测的可解释性与泛化能力问题 [2][5] - 技术亮点：采用双视觉编码器架构（LLaVA+NPR视觉专家）同时处理高级语义和低级视觉特征 [6] - 训练流程：包含视觉专家预训练、监督微调(SFT)和直接偏好优化(DPO)三阶段 [7] - 推理优化：协同解码策略融合视觉专家与大语言模型预测结果，权重分配为1:1:0.2 [8][25] 性能表现 - 基准测试：在POGAN、StyleGAN2等17种生成模型检测中平均准确率达93.16%，显著优于CNNSpot(70.78%)等传统方法 [11] - 跨数据集验证：在COCO、Flickr等数据集上检测准确率保持100%，对SDXL、DALL·E-3等新模型检测准确率超99% [29][30] - 鲁棒性测试：JPEG压缩(98.7%)、高斯模糊(97.9%)等干扰下性能下降幅度小于5%，显著优于AIDE(90.7%)等竞品 [35] 关键技术实现 - 数据构建：Holmes-Set数据集含45K图像+20K标注，覆盖13类生成缺陷（人脸异常/物理法则错误等） [15][19] - 自动标注：采用Qwen2VL-72B等4种大模型进行多专家评审，设计通用正向/负向/特定缺陷三类prompt [18][19] - 偏好修正：通过人工标注修正SFT输出，使用Deepseek生成修改前后解释对用于DPO训练 [21] 解释能力评估 - 客观指标：BLEU-1(0.622)、ROUGE-L(0.375)等自然语言指标超越GPT-40(0.433) [32] - 主观评分：人类ELO评分达11.42，优于Pixtral-124B(10.472)等基线模型 [32] - 抗干扰性：JPEG压缩下解释指标(BLEU-1等)波动小于5%，保持语义一致性 [34] 行业应用前景 - 技术局限：存在幻觉问题（错误解释正常特征）及细粒度缺陷检测挑战 [36][37] - 迭代方向：将针对多模态大模型幻觉问题、解释客观评估指标开展优化 [39] - 开源资源：代码与论文已在GitHub和arXiv平台公开 [39]