通过嵌入引导避免生成模型的创作障碍
为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像-文本提示解决了这些问题。经过详尽的实证评估表明，SLD能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。
Nov, 2022
本文提出了一种可行的指导框架，称为实用插播（PPAP），该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家，每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验，证明了该方法可以成功地引导扩散，且小可训练参数和没有标记的数据。最后，通过我们的框架，我们展示了图像分类器，深度估计器和语义分割模型可以以插播的方式指导公开可用的GLIDE。
Dec, 2022
本文研究了图像扩散模型，如DALL-E 2，Imagen和Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
本文提出了一种针对Diffusion Model的保护图像的方法，通过生成样本特定的扰动噪声使训练数据难以被Diffusion Model学习，以此保护隐私和版权。
Jun, 2023
多模态机器学习中的文本到图像模型，如Stable Diffusion和DALL-E 3，以将文本转化为详细图像而变得重要。本文介绍了一种专门针对文本到图像模型的记忆定义，并根据用户期望将其分为三种不同类型。我们对意图记忆和非意图记忆之间的微妙差异进行了详细研究，并强调在模型输出的生成质量和用户隐私之间平衡的重要性。通过使用Stable Diffusion模型，我们提供了示例来验证我们的记忆定义并阐明其应用。
Dec, 2023
对文本引导的图像生成模型进行了记忆化分析，提出三个必要条件进行定量分析，并利用反演技术验证目标图像的安全性，同时对稳定扩散模型进行了有效性实验证明。
May, 2024
本研究解决了潜在扩散模型（LDMs）在图像编辑中的数据滥用和知识产权侵犯问题。提出的后验崩溃攻击（PCA）不依赖于目标模型的白盒信息，通过利用VAE编码器的少量参数，显著降低了生成图像的语义质量和感知一致性。实验结果表明，PCA在生成图像的干扰效果上优于现有技术，为应对生成AI带来的社会技术挑战提供了更强大且通用的解决方案。
Aug, 2024