扩散模型的几何视角
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。
May, 2024
本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。
Jun, 2023
本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。
May, 2024
我们提出了一种统一的概率形式用于扩散式图像编辑，其中潜变量以任务特定的方式进行编辑，并且通常偏离原始随机微分方程或常微分方程（SDE 或 ODE）引起的相应边际分布。代之以定义了一个相应的 SDE 或 ODE 进行编辑。我们在公式中证明了两个 SDE 之间的边际分布的 Kullback-Leibler 散度逐渐减小，而 ODE 的散度在时间趋近于零时保持不变，这表明了 SDE 在图像编辑中的优势。受此启发，我们针对各种任务（包括修复和图像到图像转换）提供了常用 ODE 基准的 SDE 对应项，其中 SDE 显示出一致而显著的改进。此外，我们还提出了基于 SDE 公式的简单而有效的点内容拖曳方法 SDE-Drag。我们创建了一个具有自然图像、艺术图像和 AI 生成图像的挑战性基准（称为 DragBench）进行评估。对 DragBench 的用户研究表明，SDE-Drag 在很大程度上胜过了我们的 ODE 基准、现有的基于扩散的方法以及著名的 DragGAN。我们的结果证明了 SDE 在图像编辑中的优势和多功能性，并推动了基于扩散的编辑方法的发展边界。
Nov, 2023
通过将采样过程定义为扩展的逆时间随机微分方程 (ERSDE)，我们提出了 ER-SDE 求解器，为扩散模型 (DM) 的图像生成速度带来了突破性的提升，并在 ImageNet 64×64 数据集上实现了 3.45 FID 的效果。
Sep, 2023
该篇论文是一篇关于基于分数的扩散模型的阐述性文章，重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后，讨论了扩散建模的两个支柱 —— 抽样和得分匹配，其中包括 SDE/ODE 抽样，得分匹配效率，一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域，从中的分析对于设计新模型或算法的从业者也有一定的实用价值。
Feb, 2024
我们研究了最小二乘问题的连续时间随机梯度下降（SGD）模型的动力学。我们通过分析随机微分方程 (SDE)，在训练损失（有限样本）或总体损失（在线设置）的情况下建模 SGD 来追求 Li 等人 (2019) 的研究成果。该动力学的一个关键特征是无论样本大小如何，都存在与数据完美插值器。在这两种情况下，我们提供了收敛到（可能退化的）稳态分布的精确非渐近速率。此外，我们描述了渐近分布，给出了其均值、与之偏差的估计，并证明了与步长大小有关的重尾现象的出现。我们还呈现了支持我们发现的数值模拟结果。
Jul, 2024
该论文通过高斯分布得出扩散模型的微分方程和似然函数，分析了前向和后向随机微分方程及似然函数的变分自编码器和分数匹配方法，得到了反扩散常微分方程和基于噪声级别参数化的一族反扩散随机微分方程。
Jan, 2023
通过引入风险敏感的随机微分方程，我们的研究表明扩散模型在存在噪声样本时非常脆弱，限制了其在诸多设置中的潜力，我们通过调整噪声样本的分布并减少误导性信息，成功地从噪声样本中恢复出干净的数据分布，实验证明我们的模型在合成和真实数据集上明显优于条件生成基准模型。
Feb, 2024