Jun, 2023

用于文本到图像扩散模型中用户归因和指纹识别的权重调节

PDF
TL;DR本文提出了一种新的模型指纹技术，将唯一标识符印刷到生成内容中，以追溯图像的生成者，即模型的责任人，并在不影响生成内容质量的情况下，在 Text-to-Image（T2I）任务中将微调纳入其中；通过对 Stable Diffusion 模型进行大量评估，本方法为模型分发和负责任使用提供了一种有前途的新途径。
generative modelsmodel fingerprintingattribution accuracytext-to-imagestable diffusion model
发现论文，激发创造
  • 利用潜在指纹对图像生成模型进行归属

    本文研究了使用潜在语义维度作为指纹的方法，以分析设计变量对准确性和质量之间的权衡的影响。与当前 SOTA 相比，我们的方法需要最少的计算量，并且更适用于大规模模型。我们使用 StyleGAN2 和潜在扩散模型来证明我们的方法的有效性。

    Apr, 2023

  • FT-Shield：一种针对文本到图像扩散模型的未经授权微调的水印

    基于潜在扩散模型的文本生成图像模型通过语言提示展现出了出色的能力，但由于版权侵犯的普遍担忧，本文提出了一种针对文本生成图像模型的水印方法 FT-Shield，以帮助检测侵权的情况。经过全面实验证明了 FT-Shield 的有效性。

    Oct, 2023

  • 在 RGB 及更多领域的文本到图像扩散模型中检测图像归属

    对现代文本到图像 (T2I) 扩散模型进行了研究，这些模型可以生成非常逼真和具有创造力的图像。我们提供了广泛的分析，关于哪些推理阶段的超参数和图像修改是可辨认的。我们进一步调查了图像归属所依赖的视觉痕迹，通过扰乱高频细节和使用图像风格和结构的中级表示。我们的分析强调，与以前探索的视觉粒度相比，伪造图像在各个层面上都是可检测且可归属的。

    Mar, 2024

  • 生成模型的人工指纹：通过训练数据来追根揭底深度伪造图像的来源

    我们通过嵌入人工指纹到生成对抗网络的训练数据中，展示了指纹从训练数据中转移到生成模型的惊人传递性，并证明此解决方案对多种诸如深度伪造检测和归属等任务都有效，且鲁棒性强。

    Jul, 2020

  • MMA-Diffusion：多模态对抗扩散模型

    近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

    Nov, 2023

  • 使用可扩展的指纹技术负责任披露生成模型

    研究人员开发出一种称为指纹技术的机制，该技术旨在检测并追溯深度生成模型的使用，以防止其被用于创建深度伪造和传播虚假信息。

    Dec, 2020

  • 通过多模态数据污染很容易植入后门的文本转图像扩散模型

    本文通过在三个语义层次（像素、物体和风格）上对基于文本到图像转换的扩散模型的后门攻击进行实验和讨论，提出了 BadT2I 攻击框架并利用正则化损失注入恶意输入。实验结果表明，现代扩散模型可以在几个微调步骤内轻易被后门攻击，在进一步的训练过程中攻击效果仍能保持。

    May, 2023

  • 一个用于检测文本到图像模型中艺术盗窃模仿的水印框架

    我们提出了一种新的水印框架，通过细调检测文本到图像模型的模仿。该框架在数字艺术品中嵌入微妙的水印，以保护其版权，并同时保留艺术家的视觉表达。通过分析一系列生成的图像中水印的分布，可以揭露使用被盗受害者数据进行细调模仿的行为。我们的研究证实，在各种细调场景和针对水印攻击方法中，通过分析人工生成图像中水印的分布可可靠地检测未经授权的模仿。

    Nov, 2023

  • 基于再生的无需训练的文本图像生成模型伪造图像的归因

    通过反转图像的文本提示并将重构的提示放入不同的候选模型中来重新生成候选伪图片，通过计算并排序测试图片与候选图片的相似性，我们可以确定图片的来源模型，从而使模型的所有者对其模型的任何滥用负有责任。

    Mar, 2024

  • 利用 GAN、扩散模型和风格迁移技术增强指纹图像合成

    利用生成对抗网络和扩散模型，我们提出了新颖的方法来合成高质量、真实和仿冒指纹图像，同时保留独特性和多样性特征。通过多种方法从噪声生成真实的指纹图像，并利用图像转换技术将真实的指纹图像转换为仿冒的指纹图像。通过循环自动编码器和梯度惩罚加权里程碑（CycleWGAN-GP）等风格转换技术，结合 Wasserstein 距离指标，我们实现了基于有限训练数据生成不同类型的仿冒图像，以避免模式崩溃和不稳定性。我们发现，当仿冒训练数据包含明显的仿冒特征时，可以改善从真实到仿冒的转换。我们主要通过 Fréchet Inception Distance（FID）和 False Acceptance Rate（FAR）评估生成的真实指纹图像的多样性和逼真性。我们最佳的扩散模型达到了 15.78 的 FID。而相比之下，WGAN-GP 模型在独特性评估方面表现更好，因其在与训练数据匹配时的稍低 FAR，表明更好的创造力。此外，我们给出了示例图像，清楚地显示了 DDPM 模型能够生成逼真的指纹图像。

    Mar, 2024