Jul, 2024

自动去噪评分匹配用于非线性扩散

HTML
PDF
TL;DR本研究介绍了一种基于扩散过程的可逆学习方法，其核心在于学习其评分形式，用于估计科学系统的性质。我们引入一系列可计算的去噪评分匹配目标，称为局部-DSM，利用扩散过程的局部增量。我们展示了如何使用局部-DSM和泰勒展开进行自动训练和评分估计，用于非线性扩散过程。为了证明这些想法，我们使用自动-DSM在具有挑战性的低维分布和CIFAR10图像数据集上训练生成模型。此外，我们使用自动-DSM学习了在统计物理学中研究的非线性过程的评分。
发现论文，激发创造
  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆SDE插件的似然度的下限。

    Jun, 2021

  • 基于得分的生成建模方法及临界阻尼 Langevin 漫步

    通过引入一种新的，临界阻尼Langevin扩散，该文提出一种基于分数的生成模型框架，它可以更轻松地学习条件分布的速度得分函数，这比直接学习数据分数函数要容易得多，并用于高分辨率图像合成任务。

    Dec, 2021

  • 高阶降噪得分匹配用于分数型扩散ODE的最大似然训练

    该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练，以提高得分模型的生成质量和对于数据概率分布的似然评估。

    Jun, 2022

  • 通过强制底层分数随机漫步方程来提高基于分数的扩散模型

    本研究探讨了基于分数的生成模型，其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数，并导出了一个叫做分数 Fokker-Planck 方程的相应方程，对于噪声扰动后的数据密度的条件分数进行特征化，同时还证明了满足 Fokker-Planck 方程是有益的，因为它可以提高可能性和保守性程度，因此，提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程，并在各种数据集上证明了其有效性。

    Oct, 2022

  • 降噪扩散桥模型

    通过扩展扩散模型，使用扩散桥模型作为一种自然替代方法，该模型通过从数据中学习扩散桥分数并解决基于这些分数的（随机）微分方程，将一种分布映射到另一种分布，从而实现图像编辑等应用中纳入非随机噪声信息的目标。

    Sep, 2023

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 基于分数的扩散模型中使用评分嵌入进行高效去噪

    通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。

    Apr, 2024

  • 在基于评分扩散模型中适应未知的低维结构

    本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。

    May, 2024

  • 操作员提示的分数匹配用于马尔可夫扩散模型

    利用马尔科夫扩散模型的优势，我们提出了Riemannian扩散核平滑和运算器信息得分匹配的技术，改善了扩散模型的训练过程。

    Jun, 2024

  • 从最优得分匹配到最优采样

    本研究解决了得分匹配在高维数据生成中的理论不足，提出了一种新的最优得分估计方法，建立了光滑密度函数的尖锐最小最大估计速率。研究结果表明，生成的样本分布能够以最优速率逼近真实分布，显著提升了得分匹配模型的理论基础。

    Sep, 2024