May, 2023

扩散模型训练图像的可再生提取

PDF
TL;DR本文针对 Stable Diffusion 模型的实用性展开研究，通过实现高效的提取攻击，揭示了一种新的生成数据的现象：模板文本，此外，文章还提供了对各种先进系统，包括 Stable Diffusion 2.0，Deep Image Floyd 和 Midjourney v4 的训练图像的提取，并在 https://github.com/ryanwebster90/onestep-extraction 上公开了相关代码。
extraction attackdiffusion modeltraining samplestemplate verbatimssystem generation
发现论文，激发创造
  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 理解和减轻扩散模型中的复制现象

    分析了文本到图像扩散模型中的记忆问题，提出了减少训练和推理时间中数据复制的几种技术。

    May, 2023

  • 通过采样预训练扩散模型进行有针对性的图像重建

    该研究提出利用预训练扩散模型生成目标类别的数据点的方法，突破先前攻击者需要准确的先验目标分布的限制，以此发动神经网络模型逆推攻击的严重性。

    Jan, 2023

  • 通过有针对性的攻击揭示稳定扩散中的漏洞

    本研究针对 Stable Diffusion 模型的脆弱性，提出一种生成特定图像的对抗性提示框架，并通过揭示导致模型脆弱性的机制来证明方法的有效性。

    Jan, 2024

  • 基于主动自适应知识蒸馏和扩散式图像生成的少次调用模型窃取方法

    通过借助扩散模型生成逼真多样的图像，我们提出使用一个新的应用案例来复制黑盒分类模型，并在极少数量的调用中进行模型抽取任务，通过使用主动自适应学习框架来蒸馏被攻击模型的知识，我们的实证结果显示，该框架在少量调用模型抽取场景中优于两种现有方法。

    Sep, 2023

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 扩散艺术还是数码伪造？探究扩散模型中数据复制

    本文研究了图像检索框架，让我们能够比较生成的图像与训练样本，并检测什么时候复制了内容。我们使用这个框架分析了多个数据集上训练的扩散模型，包括牛津花卉，Celeb-A，ImageNet 和 LAION，讨论了训练集大小等因素对内容复制率的影响。同时，我们还发现了一些这种扩散模型直接从其训练数据中复制的情况，包括流行的稳定扩散模型。

    Dec, 2022

  • 扩散模型其实是一个零样本分类器

    本文介绍了基于文本和图像结合模型的生成分类方法，利用如 Stable Diffusion 的扩展图像扩散模型提供的在不需要额外训练的条件概率密度估计，实现了零样本分类，并证明其能够在多种基准测试上获得强大的结果及优于竞争方法的效果，同时还发现与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的 SOTA 判别分类器相近的性能。

    Mar, 2023

  • 在空中训练：使用生成数据提高图像分类

    本文介绍了一种名为 “Diffusion Inversion” 的方法，该方法使用预先训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，即可生成多样高质量的训练图片，此方法通过三个关键部件成功替换了原始数据集，从而提高了样本复杂度并缩短了采样时间，不仅优于泛化提示导向方法和 KNN 检索基线，还可与常见数据增强技术兼容，提高少样本学习的可靠性。

    May, 2023

  • 针对大规模扩散模型的更真实成员推断攻击

    本文研究生成扩散模型的会员推断攻击，通过提出一种公正的评估框架，发现之前提出的评估机制无法充分了解该问题的有效性，因此揭示了该攻击仍然是大型扩散模型的难点，难以保护相关的隐私和版权问题。

    Jun, 2023