本文中，我们在变分和基于分数的透视下回顾，阐释和统一了扩散模型的理解。我们提出了变分扩散模型（VDM），并证明优化VDM归结为学习神经网络来预测原始源输入，原始源噪声或噪声输入的分数函数。最后，我们介绍了如何使用扩散模型通过引导来学习条件分布。

Aug, 2022

InfoDiffusion 增强了扩散模型，通过低维潜在变量捕捉数据中的高层次变化，从而获得高质量的样本并生成可操作的可解释潜在表示，具有生成设计等方面的潜在应用价值。

Jun, 2023

通过使用去噪扩散模型，我们可以条件生成和密度建模复杂关系，如图像和文本，并通过信息分解揭示学到的细粒度关系，进而提出了许多应用，包括无监督定位图像中的目标和选择性编辑图像时的影响测量。

Oct, 2023

通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

Oct, 2023

扩散模型通过生成具有合适阴影的不寻常的图像，如宇航员在月球上骑马，显示了具有组合泛化能力，但模型是如何做到的？我们在条件DDPM上进行了实验，学习生成以指定的x和y位置为中心的2D球形高斯隆起。我们的结果表明，有意义的语义潜在表示的出现是实现高性能的关键。在学习过程中，模型经历了三个不同阶段的潜在表示：（阶段A）没有潜在结构，（阶段B）二维无序状态流形，（阶段C）二维有序流形。与每个阶段相对应，我们确定了定性不同的生成行为：1）生成多个凸起，2）在不准确的x和y位置生成一个凸起，3）在正确的x和y位置生成一个凸起。此外，我们还展示了即使在不平衡的数据集中，x和y特征（位置）以倾斜的频率表示，x和y的学习过程仍然是耦合的，而不是因式分解的，这表明简单的香草味扩散模型不能学习将x和y的定位因式分解为独立的1D任务的高效表示法。这些发现表明，未来的研究需要找到归纳偏差，将生成模型推向发现和利用其输入中可因式分解独立结构的更多数据高效制度所需的地步。

Feb, 2024

本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。

May, 2024

扩散模型和表示学习之间的相互作用进行了综述，包括数学基础、去噪网络架构和引导方法等方面，阐述了与扩散模型和表示学习相关的各种方法，并提出了对扩散模型和表示学习分类的综合概述以及现有关注点和潜在研究领域。

Jun, 2024

使用等距扩散进行几何规则化，使扩散模型学习到一个几何上完整的训练数据流形的潜空间，实现了更加解耦的潜空间、更平滑的插值、更准确的反演以及对潜空间中属性的更精确控制。

Jul, 2024

本研究解决了扩散模型在面对高维图像数据时，如何有效学习其低维分布的问题。通过假设图像数据呈现低秩高斯混合分布，并将去噪自编码器参数化为低秩模型，研究表明优化扩散模型的训练损失与解决经典子空间聚类问题等价。这一发现揭示了扩散模型如何突破维度诅咒，并展现出在学习分布时的相变特性，从而为图像编辑提供了新的视角。

Sep, 2024

本研究解决了传统类引导扩散模型在细节纹理生成上的不足，指出依赖粗略的类先验信息限制了模型性能。提出的“扩散上的扩散”（DoD）框架通过从先前生成的样本中提取视觉先验，提供丰富的引导信息，显著降低训练成本，同时提升生成图像的质量和细节。研究结果表明，DoD-XL模型在有限的训练步骤下，获得的FID-50K评分显著优于其他最先进的方法。

Oct, 2024