Dec, 2023

FreeFlow: 通过最优传输对扩散概率模型进行全面理解

PDF
TL;DRFreeFlow 是一个框架，以时间依赖的最优输运来解释扩散公式，其中概率密度的演化模式由 Wasserstein 空间中的泛函梯度流给出，既阐明了 DPMs 的微妙机制，也通过创造性地涉及 Lagrangian 和 Eulerian 观点来指示一些缺陷的根源，特别地，核心方程将所有随机和确定性 DPMs 凝聚为一个单一情况，展示了我们方法的可扩展性，此外，我们工作中使用的 Riemannian 几何有潜力桥接数学中更广泛的领域，为未来建立更优秀和更广义的模型提供了更深入的工具。
diffusion probabilistic modelsmarkoviandifferential equationsoptimal transportwasserstein space
发现论文，激发创造
  • 离散概率流通过最优传输的构建

    本文旨在建立离散扩散模型的概率流动基本理论，从而定义符合最优运输原理的离散概率流动，并提出一种超越以往的离散扩散模型的新型采样方法。通过在合成玩具数据集和 CIFAR-10 数据集上的广泛实验证实了所提出的离散概率流动的有效性。

    Nov, 2023

  • DPM-OT：一种基于最优传输的新扩散概率模型

    通过创新性地将逆扩散视为不同阶段的潜变量之间的最优传输（OT）问题，提出了 DPM-OT，一种用于快速 DPM 的统一学习框架，通过 OT 映射表示直接快速生成高质量样本，具有约 10 个函数评估内的优秀表现。大量实验证实了 DPM-OT 在速度和质量（FID 和模式混合）方面的有效性和优势，因此为生成建模提供了高效的解决方案。

    Jul, 2023

  • 切片 - 瓦瑟斯坦流：通过最优输运和扩散的非参数生成建模

    本研究提出了一种基于梯度流的、无需参数的算法，用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上，并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系，该算法既能高效地解决优化问题，还提供了理论分析和有限时间误差保证。实验结果表明，该算法能够成功地捕捉不同类型的数据分布结构。

    Jun, 2018

  • 通过最优输运理解 DDPM 潜变量

    研究拟合自然图像分布的传播模型中，VP SDE 方法的编码器映射为常规分布的最优传输映射。

    Feb, 2022

  • 具有混合概率传输的等变流匹配

    通过引入几何流匹配，本文在特征稳定的概率动力学和同态建模之间提出了一个混合概率路径，用于 3D 分子的生成，并在多个分子生成基准测试中实现了更好的性能和平均 4.75 倍的采样速度提升。

    Dec, 2023

  • 六个简单步骤的去噪扩散概率模型

    通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

    Feb, 2024

  • 流匹配实现最小极大均衡收敛

    该论文讨论了流匹配在 $p$-Wasserstein 距离方面的收敛性质，通过研究一类更广泛的向量场的均值和方差函数，确定实现这些最优速率所必需的特定条件，并且证明了流匹配能够达到与扩散模型相当的收敛速率，从而为流匹配作为一种无需模拟的生成模型提供了第一条理论证据。

    May, 2024

  • 费曼路径积分理解扩散模型

    利用费曼路径积分的新方法来描述分数评分的扩散模型，推导了反向随机微分方程和损失函数，通过应用量子物理中的 Wentzel-Kramers-Brillouin (WKB) 展开技术来评估随机和确定性采样方案之间的性能差异。

    Mar, 2024

  • 运输，变分推断和扩散：在 退火流和薛定谔桥 的应用

    该论文探讨了最优输运和变分推理之间的关系，并提出了一系列采样和生成建模的新技术，其中涉及随机微分方程和 Girsanov 转换等内容。

    Jul, 2023

  • 具有明确转移概率的解耦扩散模型

    本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

    Jun, 2023