通过理论支持,本文提出一种优雅而有效的加权策略,解决了扩散模型中常数加权策略带来的估计偏差问题。并通过实证评估表明,提出的去偏估计方法在样本质量、训练效率和采样效率方面均显著优于基准方法。
Oct, 2023
该研究提出了反射扩散模型用于处理复杂任务中分数扩散模型中的数值误差,通过学习扰动得分函数,并扩展标准扩散模型的关键组成部分,包括扩散指导、基于似然的训练和 ODE 采样来从数据支持的反射随机微分方程开始进行反演。
Apr, 2023
提出基于一致性约束的得分匹配方法,实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。
Feb, 2023
通过使用黑盒用户目标评分,我们提出一种基于扩散模型的目标引导生成方法,并采用协方差自适应的顺序优化算法来优化未知过渡动态下的累积黑盒评分,实验证明该方法在实现更好目标评分方面具有卓越的性能。
Jun, 2024
本研究通过设计独特的系数,首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构,凸显了系数设计的重要性。
May, 2024
本文提出了一种时间相关的重要性重新加权方法来减轻扩散模型中的数据集偏差,并证明了时间相关密度比方法相较于之前的方法更准确,从而在生成学习中最小化误差传播。通过将时间相关密度比用于重新加权和得分校正,可以获得一个可行的目标函数来重建无偏数据密度。此外,本文理论上建立了与传统得分匹配的联系,并证明了其收敛于无偏分布。实验证据支持了该方法的有效性,它在包括 CIFAR-10、CIFAR-100、FFHQ 和 CelebA 在内的多种偏差设置下胜过了基线方法。
Mar, 2024
该论文提出了基于深度学习的方法来对非归一化目标密度进行建模,并使用特定问题的 Schrödinger 桥问题来确定在给定先验分布和指定目标之间的最有可能的随机演变,其中包括前面出现的目标作为特殊情况。
Jul, 2023
本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上,我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上,我们获得了与 ProgressiveGAN 相似的样本质量。
Jun, 2020
该研究提出了一种使用分数梯度模型重构图像的方法,并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题,尤其是加速 MRI,具有强大的性能及实用性,并且可重构复杂值数据。
Oct, 2021
通过解决数值上求解对数密度福克 - 普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率,并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数,我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能,其意义上地以更快速度实现了类似的质量。
Apr, 2024