Apr, 2024

基于分数的扩散模型中使用评分嵌入进行高效去噪

PDF
TL;DR通过解决数值上求解对数密度福克 - 普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。
denoising score-based diffusion modelsefficiency in traininglog-density fokker-planck equationslice wasserstein distanceimproved performance
发现论文，激发创造
  • 通过强制底层分数随机漫步方程来提高基于分数的扩散模型

    本研究探讨了基于分数的生成模型，其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数，并导出了一个叫做分数 Fokker-Planck 方程的相应方程，对于噪声扰动后的数据密度的条件分数进行特征化，同时还证明了满足 Fokker-Planck 方程是有益的，因为它可以提高可能性和保守性程度，因此，提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程，并在各种数据集上证明了其有效性。

    Oct, 2022

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 深度网络作为去噪算法：在高维图模型中有效学习扩散模型

    利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究，我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似，同时这些算法适用于高效的神经网络表示，通过示例验证了这一观察，并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。

    Sep, 2023

  • 子空间扩散生成模型

    通过在噪声映射运行限制后的高维扩散过程，实现基于评分模型生成高质量样本且减少计算量的方法。

    May, 2022

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 在基于评分扩散模型中适应未知的低维结构

    本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。

    May, 2024

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 去噪扩散概率模型

    本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

    Jun, 2020

  • 通过自适应嵌入和集成激发图像去噪扩散模型

    图像降噪是计算摄影中的一个基本问题，要求在低畸变的情况下实现高质量的感知性能。最近，新兴的扩散模型在各种任务中实现了最先进的性能，在图像降噪方面显示了巨大的潜力。然而，为图像降噪刺激扩散模型并不直接，需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型（DMID）” 的新策略，通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。

    Jul, 2023

  • 基于证明可靠性的分数传播后验采样用于即插即用图像重建

    本研究提出了一种算法框架，用于在一般非线性逆问题中将基于分数的扩散模型作为表达性数据先验。通过引入扩散插入和播放方法 (DPnP)，交替调用两个采样器，一个仅基于前向模型的似然函数的邻近一致性采样器，另一个仅基于图像先验的分数函数的降噪扩散采样器。首次建立了 DPnP 在解决线性和非线性图像重建任务中的渐近性和非渐近性性能保证，并通过数值实验证明了其潜力。

    Mar, 2024