闭合式扩散模型
通过引入一种新的,临界阻尼Langevin扩散,该文提出一种基于分数的生成模型框架,它可以更轻松地学习条件分布的速度得分函数,这比直接学习数据分数函数要容易得多,并用于高分辨率图像合成任务。
Dec, 2021
本文研究基于分数的生成模型(SGMs)中遇到的向后过程收敛性问题,提出了基于预测校正方案的近似 Langevin 动力学方法,并在有限时间内提供了Wassertein距离的收敛保证。
May, 2023
我们以具有未知均值的高斯分布的抽样为动机示例,通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数,同时通过与相应的抽样估计相结合,对于与数据分布之间的Wasserstein-2距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于L2准确评分估计假设的结果,以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
Nov, 2023
通过样本复杂性论证,我们在特定设置下展示了得分函数训练良好的情况下,SGM只能输出训练数据点的高斯模糊样本,从而模拟核密度估计的效果,这与最近的研究结果一致,揭示了SGM展示出记忆效应并且无法生成的弱点。
Jan, 2024
评分函数估计是训练和采样扩散生成模型的基石。我们引入了一种利用训练集中的多个样本来大幅降低估计方差的新型最近邻评分函数估计器,并将其应用于一致性模型训练中,加快收敛速度并提高样本质量。在扩散模型中,我们展示了该估计器可以替代学习网络用于概率流ODE积分,为未来研究开辟了有希望的新途径。
Feb, 2024
分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性,介绍了相对于标准高斯测度的概率分布的复杂性概念,证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论,证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率,独立成趣。
Feb, 2024
本文解决了优化证据下界(ELBO)对扩散生成模型(如DDPMs)训练有效性的理论基础问题,建立了连续时间扩散过程的密度公式,并揭示了目标密度与每一步得分函数之间的联系。研究发现,训练DDPMs的优化目标的最小化几乎与真实目标一致,为使用ELBO优化DDPMs提供了理论支持,同时为GAN培训中的得分匹配正则化及扩散分类器的ELBO使用提供了新的见解。
Aug, 2024