扩散式生成模型设计空间的阐明
本研究引入了一个新的生成 SDE 模型,采用辅助鉴别器进行得分调整,通过训练鉴别器来估计预训练得分估计和真实数据得分之间的差距,进而进行调整。实验结果显示,该方法在无条件 / 有条件的 CIFAR-10 上实现了新的 SOTA FIDs 1.77/1.64,以及 ImageNet 256x256 上的新的 SOTA FID /sFID 3.18 / 4.53。
Nov, 2022
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
为了解决传统训练方法与生成模型的条件抽样行为之间的差异,本文介绍了一种更新的损失函数,通过改进训练目标与抽样行为的一致性来提高样本质量,并对不同的引导比例进行了实验验证。
Nov, 2023
本文研究使用基于得分的扩散模型进行深层生成建模的方法,系统比较和理论分析不同方法学习条件概率分布的效果,并证明得出条件得分最成功的估计器的理论依据。同时,介绍了多速度扩散框架,提出了一个新的条件分数估计器,与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff,可用于应用和进一步研究多速度扩散模型。
Nov, 2021
本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调,进而在 ImageNet 分类准确性得分上实现了显著的提升,证明了利用自然图像模型进行生成数据增强的可行性。
Apr, 2023
本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上,我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上,我们获得了与 ProgressiveGAN 相似的样本质量。
Jun, 2020