扩散模型中的记忆化

Oct, 2023

On Memorization in Diffusion Models

Xiangming Gu, Chao Du, Tianyu Pang, Chongxuan Li, Min Lin...

TL;DR扩散模型是近年来引起重要研究兴趣的高质量样本生成方法，我们的研究旨在深入理解扩散模型的记忆行为，包括有效模型记忆的定义与影响因素的量化分析。我们的实证研究发现数据分布、模型配置和训练过程等因素对记忆行为有重要影响，并且在扩散模型中，将训练数据与随机标签进行关联显著触发记忆行为。这对扩散模型的使用者具有实际意义，并为深度生成模型的理论研究提供了线索。

Abstract

Due to their capacity to generate novel and high-quality samples, diffusion models have attracted significant research interest in recent years. Notably, the typical training objective of diffusion models, i.e., denoising score matching, has a closed-form optimal solution that can only

diffusion models training data memorization behaviors effective model memorization influential factors

发现论文，激发创造

概率深度生成模型中的记忆化

该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

Jun, 2021

扩散模型中的记忆图像共享一个可定位和删除的子空间

大规模的文本到图像扩散模型在从文本输入中生成高质量图像方面表现出色，然而研究表明它们倾向于记忆和复制训练数据，引起了版权侵犯和隐私问题。本文针对扩散模型中的记忆问题，通过剪枝特定子空间的权重提出了一种后处理方法，避免了破坏训练或推理过程，从而展示了一个实用且全面的解决记忆问题的新途径。同时展示了经剪枝的模型对于训练数据提取攻击的鲁棒性，揭示了新的解决记忆问题的可能性。

Jun, 2024

文本图像生成模型中（非）预期记忆的理解

多模态机器学习中的文本到图像模型，如 Stable Diffusion 和 DALL-E 3，以将文本转化为详细图像而变得重要。本文介绍了一种专门针对文本到图像模型的记忆定义，并根据用户期望将其分为三种不同类型。我们对意图记忆和非意图记忆之间的微妙差异进行了详细研究，并强调在模型输出的生成质量和用户隐私之间平衡的重要性。通过使用 Stable Diffusion 模型，我们提供了示例来验证我们的记忆定义并阐明其应用。

Dec, 2023

关于训练样本记忆的研究：大规模竞赛生成模型评测的经验教训

通过设计和部署生成建模竞赛来批判性地评估能够被轻松操纵的启发式度量标准，在竞赛中，我们收到了超过 11,000 个提交的模型，并提出了新的度量标准来检测意图记忆 (MiFID)。我们进一步检查了竞赛中表现最好的 1000 个模型的代码，并手动标记了不同形式的记忆，发现非故意记忆是一个严重而普遍的问题。

Jun, 2021

内存触发器：通过词级重复揭示文本到图像生成模型中的记忆化

该研究聚焦于扩散模型中两种不同而未被充分研究的重复现象，即在扩散模型中的冗余复制，通过两个案例研究探讨了这些现象及其影响，旨在对生成模型在各种应用中进行更安全、更负责任的使用做出贡献。

Dec, 2023

无条件潜在扩散模型记忆病人影像数据

医学图像领域的生成潜在扩散模型具有广泛的应用，其中一个值得注意的应用是通过提出合成数据作为真实患者数据的替代品来实现隐私保护的开放数据共享。然而，这些模型容易遭受患者数据记忆化的问题，从而生成患者数据的副本而非新的合成样本，从而损害了保护患者数据的目的，甚至可能导致患者重新识别。针对这个问题的重要性，令人惊讶的是，在医学图像界中对此问题关注相对较少。为此，我们评估了用于医学图像合成的潜在扩散模型的记忆化问题。我们在 CT、MR 和 X 射线数据集上训练了 2D 和 3D 潜在扩散模型，用于合成数据生成。之后，我们通过自监督模型检查了训练数据记忆化的程度，并进一步研究了可能导致记忆化的各种因素，通过在不同设置下训练模型。我们发现，在所有数据集中，训练数据中有相当大的记忆化现象，分别在 CT、MRI 和 X 射线数据集中分别达到 41.7%、19.6% 和 32.6%。进一步的分析表明，增加训练数据量和使用数据增强可以减少记忆化，而过度训练会增加记忆化。总的来说，我们的结果表明在共享开放数据之前应该进行记忆化受影响的合成数据评估。

Feb, 2024

文本到图像扩散模型中的记忆化分析实践

对文本引导的图像生成模型进行了记忆化分析，提出三个必要条件进行定量分析，并利用反演技术验证目标图像的安全性，同时对稳定扩散模型进行了有效性实验证明。

May, 2024

探究医学图像合成中 3D 潜在扩散模型中的数据记忆

研究了生成潜在扩散模型在医疗成像数据生成方面的应用，评估了其对敏感病人培训数据的记忆能力并提出了缓解记忆的策略。

Jul, 2023

大型语言模型中的紧急和可预测记忆

通过对 Pythia 模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

Apr, 2023

从无条件扩散模型中提取训练数据

扩散概率模型的记忆化、理论分析、条件记忆化、数据提取、Surrogate condItional Data Extraction (SIDE)

Jun, 2024