消除扩散模型中的利普希茨奇性

Jun, 2023

Eliminating Lipschitz Singularities in Diffusion Models

Zhantao Yang, Ruili Feng, Han Zhang, Yujun Shen, Kai Zhu...

TL;DR本文研究了扩散模型在零时刻附近的无穷 Lipschitz 性和该问题对模型稳定性和准确性的影响，提出了一种名为 E-TSDM 的新方法，该方法可以消除扩散模型附近零点处的 Lipschitz 奇异性，并实现了在高分辨率数据集（$256 imes256$）上的大幅提高性能。

Abstract

diffusion models, which employ stochastic differential equations to sample images through integrals, have emerged as a dominant class of generative models. However, the rationality of the diffusion process itself receives limited attention, leaving the question of whether the problem i

diffusion models lipschitz singularity e-tsdm ffhq dataset acceleration methods

发现论文，激发创造

解决扩散模型中时间间隔端点的奇异性

通过建立反向过程近似的误差界限和展示奇异时间步的高斯特性，我们确定 t=0 的奇异性是内在的、t=1 的奇异性是条件可去除的，并提出了一种新颖的插放 - 播放方法 SingDiffusion，它不仅有效解决了各种扩散模型的平均亮度问题，而且提高了它们在生成低 FID 得分方面的能力。

Mar, 2024

离散时间扩散模型的非渐近收敛：新方法和改进速率

去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

Feb, 2024

揭示扩散模型的平滑性质：一个高斯混合视角

通过对高斯混合分布的详细研究，我们证明了扩散过程的光滑性质，并得出了与混合分布成分数无关的 Lipschitz 常数和二阶矩的严格上界。最后，我们将分析应用于各种扩散求解器，从而在目标分布和学习分布之间的总变异距离和 KL 散度方面建立具体的误差保证。

May, 2024

基于扩散的生成模型的更快非渐进收敛探索

该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

Jun, 2023

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

受限域的扩散模型

本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

Apr, 2023

黎曼扩散模型

本文介绍了一种新的图像生成和似然估计方法 —— 扩展连续时间扩散模型到任意黎曼流形，提出了一种似然估计变分框架，并在黎曼流形上证明其等价性，证明了这种新方法在各个评测标准上得到了新的最先进的表现。

Aug, 2022

平滑扩散：精心创造扩散模型中的平滑潜在空间

最近，扩散模型在文本到图像 (T2I) 生成方面取得了显著进展，合成出高保真度和多样性内容的图像。然而，扩散模型内的潜在空间平滑性仍然很少被研究。我们通过观察到微小的潜在变化导致明显的视觉波动来揭示扩散潜在空间的非平滑性。为了解决这个问题，我们提出了 Smooth Diffusion，这是一种新类别的扩散模型，既高效又平滑。具体而言，我们引入了逐步变化规范化，以确保任意输入潜在的变化与输出图像的变化之间的比例在扩散训练的任何步骤中都是恒定的。此外，我们设计了插值标准差 (ISTD) 度量，以有效评估扩散模型的潜在空间平滑性。广泛的定量和定性实验表明，Smooth Diffusion 在 T2I 生成以及其他各种下游任务中都表现出更好的解决方案。Smooth Diffusion 作为一个即插即用的 Smooth-LoRA 与不同的社区模型配合使用。代码可在此 https 的 URL 获取。

Dec, 2023

扩展黎曼扩散模型

基于黎曼流模型，通过改进近似方法和利用对称空间，我们能够在高维度上学习分布并得到明显改进，包括模拟非平凡流形上的 QCD 密度并对高维超球上的学习嵌入进行对比实验。

Oct, 2023

扩散模型的几何视角

本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

May, 2023