Jun, 2024

通过取消合成图像对文本至图像模型进行数据归因

PDF
TL;DR为了识别最具影响力的训练图像以生成新图像，我们提出了一种新的方法，通过模拟反学习合成图像、增加输出图像上的训练损失，并通过代理遗忘方式找出在反学习过程中具有显著损失偏差的训练图像，并将其标记为有影响力的图像。通过与从头开始重新训练的计算密集但 “黄金标准” 的方法进行评估，我们展示了我们的方法相比之前的方法的优势。
data attributiontext-to-image modelsinfluential imagesunlearning processtraining loss
发现论文，激发创造
  • 文本 - 图像模型的数据归因评估

    通过调整现有大规模模型的方法进行数据归属性的评估，我们能够构建出受样例影响的合成图像数据集，并在此基础上评估多种数据归属算法及不同的特征空间。

    Jun, 2023

  • 基于再生的无需训练的文本图像生成模型伪造图像的归因

    通过反转图像的文本提示并将重构的提示放入不同的候选模型中来重新生成候选伪图片，通过计算并排序测试图片与候选图片的相似性，我们可以确定图片的来源模型，从而使模型的所有者对其模型的任何滥用负有责任。

    Mar, 2024

  • 图像数据归因的简单有效基础线

    数据归因是理解机器学习模型的关键方法之一，我们提出了一种基于自监督学习预训练的最小化基线方法，对图像数据进行归因，这种方法计算成本低、内存占用少、易于扩展，且在 CIFAR-10 和 ImageNet 上实现了与现有方法相媲美甚至更好的性能。

    Nov, 2023

  • 在 RGB 及更多领域的文本到图像扩散模型中检测图像归属

    对现代文本到图像 (T2I) 扩散模型进行了研究，这些模型可以生成非常逼真和具有创造力的图像。我们提供了广泛的分析，关于哪些推理阶段的超参数和图像修改是可辨认的。我们进一步调查了图像归属所依赖的视觉痕迹，通过扰乱高频细节和使用图像风格和结构的中级表示。我们的分析强调，与以前探索的视觉粒度相比，伪造图像在各个层面上都是可检测且可归属的。

    Mar, 2024

  • 理解和减轻扩散模型中的复制现象

    分析了文本到图像扩散模型中的记忆问题，提出了减少训练和推理时间中数据复制的几种技术。

    May, 2023

  • 数据引导扩散模型的旅途

    通过扩散模型对大型数据集进行训练可以合成具有出色质量和多样性的照片级真实图像。然而，将这些图像归因于训练数据 - 即确定导致生成图像的具体训练示例 - 仍然是一项挑战。在本文中，我们提出了一个框架，（i）在扩散模型的上下文中提供了数据归因的形式概念，并（ii）允许我们反事实地验证这些归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们将该方法应用于发现（和评估）在 CIFAR-10 上训练的去噪扩散概率模型及在 MS COCO 上训练的潜在扩散模型的这些归因。我们在这个 URL 提供了代码。

    Dec, 2023

  • 遗忘揭示了语言模型的重要训练数据

    利用 UnTrac 方法，通过梯度上升来衡量训练数据集对模型输出的影响，在不需要额外大内存空间或多个模型检查点的情况下，能更准确地估计预训练数据集对生成有毒内容的影响。

    Jan, 2024

  • 扩散模型的训练数据归因

    使用编码集合的互补模型来评定如何影响扩散模型的输出，可提高模型可解释性，检验训练数据对于模型输出的影响，并作为生成模型

    Jun, 2023

  • 生成图像的无修改和模型无关的来源归属

    本文提出了一种无需更改且与模型无关的图像源头归属方法，该方法通过对图像生成模型进行输入反向工程，即对特定图像的特定模型的输入进行反转来实现。利用逆向工程的重构损失确定图像来源的方法有效地区分了特定生成模型的生成图像和其他图像，包括不同模型生成的图像和真实图像。

    May, 2023

  • 如何在文本图像扩散模型中检测未经授权的数据使用

    通过向受保护的数据集中注入记忆注入，我们提出了一种检测未经授权的数据使用的方法，分析模型是否对注入内容进行了记忆，从而可以检测非法使用未经授权数据的情况。

    Jul, 2023