通过反转图像的文本提示并将重构的提示放入不同的候选模型中来重新生成候选伪图片，通过计算并排序测试图片与候选图片的相似性，我们可以确定图片的来源模型，从而使模型的所有者对其模型的任何滥用负有责任。

Mar, 2024

我们对随机种子在扩散推断期间的影响进行了大规模的科学研究，并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响，并展示了通过使用这些优质的种子进行改进的图像生成，例如高保真推断和多样化采样。本研究突出了选择良好的种子的重要性，并为图像生成提供了实际效用。

May, 2024

本文提出了一种新的模型指纹技术，将唯一标识符印刷到生成内容中，以追溯图像的生成者，即模型的责任人，并在不影响生成内容质量的情况下，在 Text-to-Image（T2I）任务中将微调纳入其中；通过对 Stable Diffusion 模型进行大量评估，本方法为模型分发和负责任使用提供了一种有前途的新途径。

Jun, 2023

通过调整现有大规模模型的方法进行数据归属性的评估，我们能够构建出受样例影响的合成图像数据集，并在此基础上评估多种数据归属算法及不同的特征空间。

Jun, 2023

为了识别最具影响力的训练图像以生成新图像，我们提出了一种新的方法，通过模拟反学习合成图像、增加输出图像上的训练损失，并通过代理遗忘方式找出在反学习过程中具有显著损失偏差的训练图像，并将其标记为有影响力的图像。通过与从头开始重新训练的计算密集但 “黄金标准” 的方法进行评估，我们展示了我们的方法相比之前的方法的优势。

Jun, 2024

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

通过扩散模型对大型数据集进行训练可以合成具有出色质量和多样性的照片级真实图像。然而，将这些图像归因于训练数据 - 即确定导致生成图像的具体训练示例 - 仍然是一项挑战。在本文中，我们提出了一个框架，（i）在扩散模型的上下文中提供了数据归因的形式概念，并（ii）允许我们反事实地验证这些归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们将该方法应用于发现（和评估）在 CIFAR-10 上训练的去噪扩散概率模型及在 MS COCO 上训练的潜在扩散模型的这些归因。我们在这个 URL 提供了代码。

Dec, 2023

本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

Jun, 2023

通过结合潜在扩散模型和领域专用的大型语言模型，提出一种新颖的生成式视觉归因技术来生成异常图像的正常对应物，从而揭示医学图像中诊断相关的部分。通过在医学科学和应用放射学中获取的自然语言文本提示，使用图像先验和适当的条件机制来控制图像生成过程，利用 COVID-19 放射学数据库对结果进行实验和定量评估。

Jan, 2024

由于 GenAI 系统滥用的潜力很高，检测合成图像的任务最近备受研究界的关注。本文提出一种利用反转开源预训练的稳定扩散模型获取的特征的新型合成图像检测器。我们展示这些反转特征使得我们的检测器能够很好地泛化到高视觉保真度的未知生成器上（例如，DALL-E 3），即使该检测器仅在通过稳定扩散生成的低保真度伪图像上训练。这个检测器在多个训练和评估设置上取得了新的最先进水平。此外，我们引入了一种新的具有挑战性的评估协议，使用反向图像搜索来减轻检测器评估中的风格和主题偏见。我们展示所得的评估分数与检测器在野外的性能一致，并将这些数据集作为未来研究的公共基准发布。

Jun, 2024