高斯分布的扩散模型：确切解和 Wasserstein 误差

May, 2024

高斯分布的扩散模型：确切解和 Wasserstein 误差

Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors

Emile Pierret, Bruno Galerne

TL;DR本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。

Abstract

Diffusion or score-based models recently showed high performance in image generation. They rely on a forward and a backward stochastic differential equations (SDE). The sampling of a data distribution is achieved by solving numerically the backward SDE or its associated flow ODE. Study

diffusion models score-based models numerical implementation wasserstein errors sampling schemes

发现论文，激发创造

扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

Jun, 2023

一种灵活的扩散模型

本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

Jun, 2022

扩散模型的几何视角

本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

May, 2023

通过福克 - 普朗克方程来缩小基于评分的扩散模型中的 ODE-SDE 差距

通过分析得出结论，增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距，但这可能会导致 SDE 样本质量下降。

Nov, 2023

扩散模型的数学

该论文通过高斯分布得出扩散模型的微分方程和似然函数，分析了前向和后向随机微分方程及似然函数的变分自编码器和分数匹配方法，得到了反扩散常微分方程和基于噪声级别参数化的一族反扩散随机微分方程。

Jan, 2023

费曼路径积分理解扩散模型

利用费曼路径积分的新方法来描述分数评分的扩散模型，推导了反向随机微分方程和损失函数，通过应用量子物理中的 Wentzel-Kramers-Brillouin (WKB) 展开技术来评估随机和确定性采样方案之间的性能差异。

Mar, 2024

扩散模型的高斯混合求解器

我们引入了一种名为高斯混合求解器 (GMS) 的新型 SDE-based 求解器用于扩散模型，通过在采样过程中估计前三阶矩并使用广义矩估计法优化高斯混合转移核的参数，我们的求解器在图像生成和基于笔画的合成等各种扩散模型中在样本质量方面优于许多其他 SDE-based 求解器，验证了 GMS 的动机和效果。

Nov, 2023

流匹配方法的误差界

本文提出了一种使用完全确定性采样的流匹配过程，该过程利用概率流 ODE 方法和去噪扩散隐式模型，为基于 ODE 的生成模型提供了误差界限。

May, 2023

关于 Wasserstein 距离中扩散模型的一般概率流 ODE 的收敛性分析

使用概率流常微分方程进行基于得分的生成建模已经在各种应用领域取得了显著的成功。本文首次提供了关于概率流常微分方程采样器的非渐近收敛性分析，假定得分估计准确，并在 2-Wasserstein 距离下建立了一系列 ODE 采样器的迭代复杂性结果。

Jan, 2024

基于分数的扩散模型通过随机微分方程

该篇论文是一篇关于基于分数的扩散模型的阐述性文章，重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后，讨论了扩散建模的两个支柱 —— 抽样和得分匹配，其中包括 SDE/ODE 抽样，得分匹配效率，一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域，从中的分析对于设计新模型或算法的从业者也有一定的实用价值。

Feb, 2024