CountHalluSet团队 投稿 量子位 | 公众号 QbitAI 扩散概率模型（diffusion probability models，DPMs）在图像生成任务上取得了卓越的成就，但它们仍频繁产生与现实世界知识相悖 的"幻觉样本"（hallucinations），例如生成有六根手指的手掌或者漂浮在空中的多余物体 。 尽管这类问题普遍存在，社区却一直缺乏系统性量化这些事实性错误的方法，这阻碍了下一代高可信度生成模型的研发进程。 为填补这一空白，来自阿德莱德大学、美团和上海交通大学的研究团队，首次对扩散模型中的一类特殊幻觉——" 计数幻觉 " （counting hallucination）进行了系统性的研究 。 他们提出了几个关键问题： 为了回答这些问题，该团队构建了首个用于量化计数幻觉的数据集套件 CountHalluSet ，并通过大量实验 揭示了计数幻觉与扩散模型中 不同采样条件之间的复杂关系 。 更重要的是，他们基于实验提出了一种简单而有效的 联合扩散模型（Joint-Diffusion Model，JDM） ，能够显著减少复杂真实图像中的 计数幻觉和其它非计数类失败问题。 | Non-coun ...