基于分数的扩散模型的最大似然训练
本文研究了评分匹配在解决高维密度模型中不可处理的分区函数时所用到的两个问题:首先,提供了最大似然和评分匹配之间的正式联系,其分析表明评分匹配可以找到更具有噪音训练数据鲁棒性的模型参数;其次,本文还发展了评分匹配的一个推广,并在此基础上进一步展示了将其扩展到离散数据模型的方法。
May, 2012
提出了一种基于变分自编码器框架的潜在分数生成模型(LSGM),通过使用潜在空间代替数据空间进行训练,使得该模型可以更加高效地生成样本且在多项任务方面取得了最先进的成果,同时在训练目标中提出多种方差约束的技术以保证其在稳定性和可扩展性上的表现。
Jun, 2021
本研究探讨了基于分数的生成模型,其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数,并导出了一个叫做分数 Fokker-Planck 方程的相应方程,对于噪声扰动后的数据密度的条件分数进行特征化,同时还证明了满足 Fokker-Planck 方程是有益的,因为它可以提高可能性和保守性程度,因此,提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程,并在各种数据集上证明了其有效性。
Oct, 2022
通过样本复杂性论证,我们在特定设置下展示了得分函数训练良好的情况下,SGM只能输出训练数据点的高斯模糊样本,从而模拟核密度估计的效果,这与最近的研究结果一致,揭示了SGM展示出记忆效应并且无法生成的弱点。
Jan, 2024
分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性,介绍了相对于标准高斯测度的概率分布的复杂性概念,证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论,证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率,独立成趣。
Feb, 2024
研究融合预训练生成模型以增强目标生成模型训练的问题,提出使用KL散度加权重心作为最优融合机制,其中重心权重经过最优训练以最小化适合目标群体的适当损失。研究表明,通过使用基于扩散得分方法训练辅助生成模型时,可以高效地计算最优KL重心权重。此外,展示了当辅助模型适合其自身任务并且辅助任务组合能很好捕捉目标时,我们的融合方法在总变异距离的样本复杂度上是无维度限制的。我们提供了融合算法的简洁计算实现,并通过涉及混合模型和图像数据集的数值实验在低数据情况下验证其效率。
Jun, 2024
本文解决了优化证据下界(ELBO)对扩散生成模型(如DDPMs)训练有效性的理论基础问题,建立了连续时间扩散过程的密度公式,并揭示了目标密度与每一步得分函数之间的联系。研究发现,训练DDPMs的优化目标的最小化几乎与真实目标一致,为使用ELBO优化DDPMs提供了理论支持,同时为GAN培训中的得分匹配正则化及扩散分类器的ELBO使用提供了新的见解。
Aug, 2024