通过分析得出结论,增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距,但这可能会导致 SDE 样本质量下降。
Nov, 2023
本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现,通过精确表达不同的 Wasserstein 误差,从而比较每种误差类型对任何采样方案的影响,直接在数据空间中监测收敛性,实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。
May, 2024
本研究提出了一个通用的模型参数化框架,尤其是针对前向 SDE 的空间部分,通过理论保障和实验证明了其优越性。
Jun, 2022
本文提出了一种基于概率流方程和深度学习的高维 Fokker-Planck 方程求解方法,该方法比传统的随机微分方程求解方法更加准确和稳定,并能直接给出诸如概率流、概率密度、熵等量的估计值。
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用 SDE 模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023
该篇论文是一篇关于基于分数的扩散模型的阐述性文章,重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后,讨论了扩散建模的两个支柱 —— 抽样和得分匹配,其中包括 SDE/ODE 抽样,得分匹配效率,一致模型和强化学习。通过简短的证明来说明所述结果的主要思想。本文主要是为初学者介绍该领域,从中的分析对于设计新模型或算法的从业者也有一定的实用价值。
Feb, 2024
提出使用膨胀路径的简单实现 Langevin 动力学,通过自适应步长来引导扩张路径,以比传统方法更好地完成一系列任务的抽样方法。
Jun, 2024
通过将高斯噪声逐渐应用于复杂的数据分布,构建了一个确定性的生成模型,对应于具有时间不均匀漂移的倒退随机微分方程,用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题,近似了迭代比例拟合过程,DSB 具有广泛的适用性,是流形上 Sinkhorn 算法的连续状态空间概率化推广。
Jun, 2021
本文研究扩散模型的采样动力学,通过挖掘它的几何结构,提出一种简单却强大的采样理论框架,并将扩散模型的优化与经典的均值偏移算法关联起来。
May, 2023
使用 Dirichlet 扩散分数模型实现生物序列的生成及 DNA 序列设计。