基于得分的生成建模方法及临界阻尼 Langevin 漫步
本文使用受非平衡热力学考虑的潜变量模型——扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和Langevin动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的CIFAR10数据集上,我们获得了9.46的Inception得分和3.17的最先进的FID得分。在256x256 LSUN上,我们获得了与ProgressiveGAN相似的样本质量。
Jun, 2020
本文提出了一种基于随机微分方程的得分模型生成方法,通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布,并通过缓慢地消除噪声将先验分布转换回数据分布,同时利用基于神经网络的得分生成建模技术可以精确估计这些得分,并使用数值微分方程求解器生成样本。
Nov, 2020
本文提出了一种基于矩阵预调和扩散采样的方法,可加速得分为基础的生成模型(SGMs)的推断,特别在更具挑战性的高分辨率图像生成时,其速度可提高29倍,而不影响合成质量。
Jul, 2022
通过扩展扩散模型,使用扩散桥模型作为一种自然替代方法,该模型通过从数据中学习扩散桥分数并解决基于这些分数的(随机)微分方程,将一种分布映射到另一种分布,从而实现图像编辑等应用中纳入非随机噪声信息的目标。
Sep, 2023
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型,通过扩散映射近似训练样本的漂移项,并在离散时间的兰格朗日采样器中实现,以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配,我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验,我们验证了我们提出的方案的性能。
Jan, 2024
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
该研究解决了传统生成扩散模型忽略数据中结构信息的问题,提出了一种新颖的边缘保护扩散模型。该模型采用边缘感知噪声调度器,实现了更快速的收敛,并在图像生成任务中达到了更高的效果,特别是在形状引导的生成任务中,比现有方法显著提升了生成质量。
Oct, 2024
本研究解决了高维空间中使用生成模型进行后验采样的多样性不足问题。通过在预训练生成模型的噪声空间中模拟Langevin动态,我们提出了一种高效的后验采样方法,显著降低了计算开销。实验证明,该方法在图像修复任务上能生成高保真度的样本,表现出更好的效率和性能。
Oct, 2024
本研究针对扩散生成模型在数据生成中的设计自由度不足的问题,提出了一个统一的框架,允许在多种表示方式、先验分布和噪声调度方面实现灵活选择。新方法特别引入了软条件模型,有助于将传统扩散模型与自回归模型平滑衔接,从而提高了训练效率和数据生成的潜力。
Oct, 2024