应用奥恩斯坦 - 乌伦贝克过程理解去噪扩散概率模型及其噪声计划

Nov, 2023

应用奥恩斯坦 - 乌伦贝克过程理解去噪扩散概率模型及其噪声计划

Using Ornstein-Uhlenbeck Process to understand Denoising Diffusion Probabilistic Model and its Noise Schedules

Javier E. Santos, Yen Ting Lin

TL;DR研究论文简述：本文表明，在观测到非均匀采样离散时间时，非均匀离散时间马尔可夫过程中的去噪扩散概率模型（DDPM）可以通过具有时间均匀性的连续时间马尔可夫过程来表示。我们使用其解析解建立了 DDPM 与已知的研究广泛的 Ornstein-Ohlenbeck（OU）过程之间的形式上的等价关系。我们进一步证明了非均匀 DDPM 中的噪声调度器设计问题等价于 OU 过程的观测时间设计问题。我们基于如自动方差和费舍尔信息等原理性量化指标，提出了几种启发式的观测时间设计，并将它们与 DDPM 的特殊噪声调度相连接。有趣的是，我们展示了费舍尔信息驱动的调度与余弦调度完全一致，后者是没有任何理论基础但是目前最先进的噪声调度。

Abstract

The aim of this short note is to show that Denoising Diffusion Probabilistic Model DDPM, a non-homogeneous discrete-time Markov process, can be represented by a time-homogeneous continuous-time markov process observed at non-uniformly sampled discrete times. Surprisingly, this continuo

denoising diffusion probabilistic model time-homogeneous continuous-time markov process ornstein-ohlenbeck process noise scheduler fisher information

发现论文，激发创造

具有明确转移概率的解耦扩散模型

本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

Jun, 2023

六个简单步骤的去噪扩散概率模型

通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

Feb, 2024

非线性系统的去噪扩散控制

我们提出了一种基于去噪扩散概率模型（DDPMs）的新方法来控制非线性动力系统。我们将反馈控制问题作为一个从目标集合中绘制样本的生成任务，并且通过 DDPMs 的正向过程以添加噪声的方式构造起源于目标集合的轨迹。我们学习使用反向方法来控制动力系统，以使最终状态属于目标集合。对于无漂移的控制仿射系统，只要存在基于李括号的可控性条件，我们证明控制系统可以完全追踪正向过程的轨迹。我们在各种非线性系统上进行数值研究并验证了我们的理论结果。此外，我们还在物理引擎上进行了超出我们理论结果的数值实验。

Feb, 2024

UDPM: 上采样扩散概率模型

本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model（UDPM），相较于传统的 Denoising Diffusion Probabilistic Models（DDPM），它在降低潜变量维度的同时，仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。

May, 2023

高效学习从扩散概率模型中采样

提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

Jun, 2021

收缩扩散概率模型

扩散概率模型（DPM）是生成模型中一种有前途的技术，在时间反转的马尔科夫扩散过程和得分匹配的基础上取得成功。然而，鉴于得分匹配可能存在问题，我们提出了一种新的设计 DPMs 的准则 —— 反向采样的压缩，从而构建了一类新型的压缩 DPMs（CDPMs）。该方法通过在反向过程中进行压缩，减小了得分匹配错误和离散化误差，使得 CDPMs 在错误源方面具有鲁棒性。理论结果和实验证实了我们的提议，值得注意的是，在 CIFAR-10 数据集上，压缩子变差保持（sub-VP）表现最好。

Jan, 2024

基于扩散的生成模型的更快非渐进收敛探索

该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

Jun, 2023

离散状态空间中的结构去噪扩散模型

本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

Jul, 2021

改进降噪扩散概率模型

通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

Feb, 2021

改善和统一的离散和连续时间离散去噪扩散

提出了一种用于简化离散扩散的数学简化方案，同时还提出了一种能够精确和加速采样的简单公式，并通过创建一个统一的模型，简化离散扩散的前向和后向概率计算，取得了在现有数据集上优于其他方法的效果。

Feb, 2024