本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

Jan, 2023

本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

Dec, 2022

通过使用深度学习技术和数据集蒸馏方法，我们构建了一个小型合成数据集，其中包含最具信息量的人可读的合成图像，用于进行下游分类模型训练，并获得适用于实际应用的性能表现。

Jun, 2024

通过分析真实样本复制过程中通过扩散和反向过程重建的合成样本，我们发现现代扩散模型不能完美地代表数据分布以用于训练鉴别性任务，这意味着合成数据集在分类性能上不如真实数据集。我们的研究结果表明，合成数据在增加反向步骤时集中于训练数据分布的模式，难以覆盖分布的外边缘，因此现代扩散模型在复制训练数据分布方面还有改进的空间。

Nov, 2023

我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

Mar, 2024

通过借助扩散模型生成逼真多样的图像，我们提出使用一个新的应用案例来复制黑盒分类模型，并在极少数量的调用中进行模型抽取任务，通过使用主动自适应学习框架来蒸馏被攻击模型的知识，我们的实证结果显示，该框架在少量调用模型抽取场景中优于两种现有方法。

Sep, 2023

通过对文本到图像系统的进展和合成图像在训练和推理过程中的不足进行研究，揭示了语义不匹配、多样性缺乏和表征基础概念的无能等问题，同时提出了对 CLIP 嵌入几何的令人惊讶的见解。

Oct, 2023

利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

Mar, 2024

通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。

Aug, 2023

通过使用综合数据，我们提出了一个新的框架（称为 SynthDistill），通过提取预训练教师人脸识别模型的知识，来训练轻量级人脸识别模型，从而解决了轻量级模型训练的困难。我们使用综合数据来生成人脸图像，并且使用生成的图像来训练轻量级学生网络。实验证明，相比之前综合数据的训练模型，我们的轻量级模型达到了 99.52% 的 LFW 数据集的验证准确率，并且我们提出的框架显著减小了真实数据和综合数据训练之间的差距。

Aug, 2023