Feb, 2024

基于分数的扩散模型通过随机微分方程

PDF
TL;DR该篇论文是一篇关于基于分数的扩散模型的阐述性文章，重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后，讨论了扩散建模的两个支柱 —— 抽样和得分匹配，其中包括 SDE/ODE 抽样，得分匹配效率，一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域，从中的分析对于设计新模型或算法的从业者也有一定的实用价值。
score-based diffusion modelsstochastic differential equationssamplingscore matchingreinforcement learning
发现论文，激发创造
  • 扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

    本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

    Jun, 2023

  • 基于狄利克雷扩散分数模型的生物序列生成方法

    使用 Dirichlet 扩散分数模型实现生物序列的生成及 DNA 序列设计。

    May, 2023

  • 逆向随机微分方程的基于得分的生成建模：反演和生成

    该论文提出了基于 BSDE 的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用 Lipschitz 网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

    Apr, 2023

  • 通过福克 - 普朗克方程来缩小基于评分的扩散模型中的 ODE-SDE 差距

    通过分析得出结论，增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距，但这可能会导致 SDE 样本质量下降。

    Nov, 2023

  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 扩散模型的几何视角

    本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

    May, 2023

  • 基于评分的随机微分方程系统的图生成建模

    提出了一种基于得分的图生成模型，采用连续时间框架下的新图扩散过程，通过随机微分方程系统对节点和边缘进行联合分布建模，并提出了适用于该过程的新颖得分匹配目标，通过求解反向扩散过程的方程系统高效采样。通过对多个数据集的验证，该方法在生成具有挑战性的现实世界图形时获得了优异的性能，并能够生成符合 训练分布的分子，表明其对于节点 - 边缘关系的建模具有有效性。

    Feb, 2022

  • 高斯分布的扩散模型：确切解和 Wasserstein 误差

    本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。

    May, 2024

  • 反射扩散模型

    该研究提出了反射扩散模型用于处理复杂任务中分数扩散模型中的数值误差，通过学习扰动得分函数，并扩展标准扩散模型的关键组成部分，包括扩散指导、基于似然的训练和 ODE 采样来从数据支持的反射随机微分方程开始进行反演。

    Apr, 2023