Jan, 2023

从扩散模型获取训练数据

PDF
TL;DR本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。
image diffusion modelsdall-e 2stable diffusiontraining dataprivacy-preserving training
发现论文，激发创造
  • 扩增模型与检索中的数据增强视角

    本文系统评估了扩散模型生成图像的现有方法，并研究了新的扩展方式以评估它们对数据增强的益处。作者发现，将扩散模型个性化到目标数据的方法优于简单的提示策略，但使用扩散模型的训练数据，通过简单的最近邻检索程序，直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性，同时也突显了其在生成新训练数据方面的潜力，以提高在简单的下游视觉任务中的性能。

    Apr, 2023

  • 理解和减轻扩散模型中的复制现象

    分析了文本到图像扩散模型中的记忆问题，提出了减少训练和推理时间中数据复制的几种技术。

    May, 2023

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 针对合成医学影像的扩散模型应谨慎 -- 与 GAN 相比记忆脑肿瘤影像的能力比较

    本研究使用 BRATS20 和 BRATS21 数据集，对比了 StyleGAN 和扩散模型中合成的脑肿瘤图像与所有训练图像之间的相关性，结果表明扩散模型更容易记忆训练图像，因此在医学影像等领域应谨慎使用。

    May, 2023

  • 在空中训练：使用生成数据提高图像分类

    本文介绍了一种名为 “Diffusion Inversion” 的方法，该方法使用预先训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，即可生成多样高质量的训练图片，此方法通过三个关键部件成功替换了原始数据集，从而提高了样本复杂度并缩短了采样时间，不仅优于泛化提示导向方法和 KNN 检索基线，还可与常见数据增强技术兼容，提高少样本学习的可靠性。

    May, 2023

  • 扩散模型训练图像的可再生提取

    本文针对 Stable Diffusion 模型的实用性展开研究，通过实现高效的提取攻击，揭示了一种新的生成数据的现象：模板文本，此外，文章还提供了对各种先进系统，包括 Stable Diffusion 2.0，Deep Image Floyd 和 Midjourney v4 的训练图像的提取，并在 https://github.com/ryanwebster90/onestep-extraction 上公开了相关代码。

    May, 2023

  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 隐私蒸馏：降低多模态扩散模型的再识别风险

    引入隐私蒸馏框架让文本到图像生成模型传授另一个模型而不暴露可识别数据，可以有效地减少再识别风险，同时维持下游性能。

    Jun, 2023

  • HOLODIFFUSION：使用 2D 图像训练 3D 扩散模型

    本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。

    Mar, 2023

  • 数据引导扩散模型的旅途

    通过扩散模型对大型数据集进行训练可以合成具有出色质量和多样性的照片级真实图像。然而，将这些图像归因于训练数据 - 即确定导致生成图像的具体训练示例 - 仍然是一项挑战。在本文中，我们提出了一个框架，（i）在扩散模型的上下文中提供了数据归因的形式概念，并（ii）允许我们反事实地验证这些归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们将该方法应用于发现（和评估）在 CIFAR-10 上训练的去噪扩散概率模型及在 MS COCO 上训练的潜在扩散模型的这些归因。我们在这个 URL 提供了代码。

    Dec, 2023