Nov, 2023

通过福克 - 普朗克方程来缩小基于评分的扩散模型中的 ODE-SDE 差距

PDF
TL;DR通过分析得出结论，增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距，但这可能会导致 SDE 样本质量下降。
score-based diffusion modelsodesdefokker--planck equationregularization
发现论文，激发创造
  • 扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

    本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

    Jun, 2023

  • 基于分数的扩散模型通过随机微分方程

    该篇论文是一篇关于基于分数的扩散模型的阐述性文章，重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后，讨论了扩散建模的两个支柱 —— 抽样和得分匹配，其中包括 SDE/ODE 抽样，得分匹配效率，一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域，从中的分析对于设计新模型或算法的从业者也有一定的实用价值。

    Feb, 2024

  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 高斯分布的扩散模型：确切解和 Wasserstein 误差

    本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。

    May, 2024

  • 费曼路径积分理解扩散模型

    利用费曼路径积分的新方法来描述分数评分的扩散模型，推导了反向随机微分方程和损失函数，通过应用量子物理中的 Wentzel-Kramers-Brillouin (WKB) 展开技术来评估随机和确定性采样方案之间的性能差异。

    Mar, 2024

  • 通过强制底层分数随机漫步方程来提高基于分数的扩散模型

    本研究探讨了基于分数的生成模型，其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数，并导出了一个叫做分数 Fokker-Planck 方程的相应方程，对于噪声扰动后的数据密度的条件分数进行特征化，同时还证明了满足 Fokker-Planck 方程是有益的，因为它可以提高可能性和保守性程度，因此，提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程，并在各种数据集上证明了其有效性。

    Oct, 2022

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 扩散模型的几何视角

    本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

    May, 2023

  • 逆过程中的噪音增强扩散模型的逼近能力

    该研究论文研究了在生成建模中，基于分数的生成建模方法中，与确定性过程相比，随机反向过程表现更好。研究比较了神经常微分方程（ODEs）和神经随机微分方程（SDEs）作为反向过程的性能，从控制理论的角度分析了神经 SDEs 近似轨迹的能力，发现了随机性的优势。

    Dec, 2023

  • 基于狄利克雷扩散分数模型的生物序列生成方法

    使用 Dirichlet 扩散分数模型实现生物序列的生成及 DNA 序列设计。

    May, 2023