一致扩散遇到 Tweedie：用有噪数据训练准确的环境扩散模型

Mar, 2024

一致扩散遇到 Tweedie：用有噪数据训练准确的环境扩散模型

Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data

Giannis Daras, Alexandros G. Dimakis, Constantinos Daskalakis

TL;DR我们提出了第一个从嘈杂的训练数据中获得未污染分布样本的扩散模型训练框架，使用了 Tweedie 公式的双重应用和一致性损失函数。我们还通过识别几乎完美重建的极度受损图像来提供扩散模型记忆训练集的进一步证据，引发了版权和隐私问题。我们的训练方法可用于缓解这个问题，并展示了通过对 Stable Diffusion XL 进行微调，使用仅嘈杂样本生成分布样本的能力。我们的框架减少了微调数据集的记忆量，同时保持有竞争力的性能。

Abstract

ambient diffusion is a recently proposed framework for training diffusion models using corrupted data. Both ambient diffusion and alternative SURE-based approaches for learning diffusion models from corrupted dat

ambient diffusion training diffusion models noisy training data consistency loss function memorization of training sets

发现论文，激发创造

环境扩散：从损坏的数据中学习干净的分布

介绍了一种基于扩散的框架，可以使用高度损坏的样本学习未知分布，通过在扩散过程中引入附加的测量损坏，并要求模型从进一步损坏的图像中预测原始损坏的图像，来学习完整未损坏图像的条件期望。

May, 2023

环境扩散后验采样：使用在损坏数据上训练的扩散模型解决逆问题

我们提供了一个用于解决扩散模型的反问题的框架，该框架可以从线性损坏的数据中学习。我们的方法是环境扩散后验采样（A-DPS），利用在一种类型的损坏上进行预训练的生成模型，在来自可能不同的前向过程的测量条件下进行后验采样。我们在标准的自然图像数据集上测试了我们的方法（CelebA、FFHQ 和 AFHQ），并且我们表明 A-DPS 在速度和性能上有时可以超过在干净数据上训练的模型进行几项图像修复任务。我们进一步扩展了环境扩散框架，用访问仅限于傅里叶子采样的多线圈 MRI 测量，加速因子为 2、4、6、8 来训练 MRI 模型。我们再次观察到，在高加速度区间内，与在完全采样数据上训练的模型相比，训练在高度子采样数据上的模型更适用于解决反问题。我们开源了我们的代码和训练的环境扩散 MRI 模型。

Mar, 2024

一种基于期望最大化算法的从损坏观测中训练清洁扩散模型

本文提出一种基于期望最大化 (EM) 方法的 EMDiffusion 训练扩散模型的方法以从损坏的观测中恢复图像，通过该方法，我们在各种计算成像任务上进行了广泛实验，包括随机修补、降噪和去模糊，达到了新的最先进性能。

Jul, 2024

D3AD：动态去噪扩散概率模型用于异常检测

扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

Jan, 2024

感知优先的弥散模型训练

本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。

Apr, 2022

从扩散模型获取训练数据

本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

Jan, 2023

扩散模型无法学习的示例：保护数据免受未经授权的利用

本文提出了一种针对 Diffusion Model 的保护图像的方法，通过生成样本特定的扰动噪声使训练数据难以被 Diffusion Model 学习，以此保护隐私和版权。

Jun, 2023

使用软屏蔽噪声的更便宜、更好的扩散语言模型

介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

Apr, 2023

医学异常检测的扩散模型

我们提出了一种基于去噪扩散内隐模型的弱监督异常检测方法，结合分类器指导进行病态和健康主体之间的图像翻译，生成非常详细的异常地图，无需复杂的训练过程。

Mar, 2022

测试时间适应的高效扩散驱动腐败编辑器

利用潜在扩散模型和新引入的损坏建模方案对传统的基于像素扩散的图像修复方案进行改进，从而提高图像修复的鲁棒性和实际性，加快运行速度，并在各种架构和数据集上得到了广泛验证。

Mar, 2024