Oct, 2022

通过强制底层分数随机漫步方程来提高基于分数的扩散模型

HTML
PDF
TL;DR本研究探讨了基于分数的生成模型，其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数，并导出了一个叫做分数 Fokker-Planck 方程的相应方程，对于噪声扰动后的数据密度的条件分数进行特征化，同时还证明了满足 Fokker-Planck 方程是有益的，因为它可以提高可能性和保守性程度，因此，提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程，并在各种数据集上证明了其有效性。
发现论文，激发创造
  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 基于分数的扩散模型的最大似然训练

    本文提出基于分数的扩散模型的最大似然训练方法，其中采用一种特定的权重方案，目标函数上界拘束负对数似然函数，达到了与当前最先进的自回归模型同等水平的负对数似然性能，验证了该方法在多个数据集、随机过程和模型结构上的有效性。

    Jan, 2021

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆SDE插件的似然度的下限。

    Jun, 2021

  • 高阶降噪得分匹配用于分数型扩散ODE的最大似然训练

    该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练，以提高得分模型的生成质量和对于数据概率分布的似然评估。

    Jun, 2022

  • 函数空间中的基于分数的扩散模型

    本研究提出了一种名为去噪扩散算子的数学严谨框架，用于在函数空间中训练扩散模型，将它推广到无限维函数空间的应用，其中前向过程是逐渐扰动输入函数，生成过程是通过积分的函数值 Langevin 动力学实现。

    Feb, 2023

  • 隐式生成建模的分数差流

    本研究提出了一种基于评分差异流的新方法，该方法通过最优降低Kullback-Leibler距离来将源分布向目标分布推进，该方法在处理生成建模三难题（高样本质量，模式覆盖和快速采样）时具有潜在的应用价值。

    Apr, 2023

  • 通过福克-普朗克方程来缩小基于评分的扩散模型中的ODE-SDE差距

    通过分析得出结论，增加Fokker-Planck残差作为额外的正则化项可以缩小ODE和SDE生成的分布之间的差距，但这可能会导致SDE样本质量下降。

    Nov, 2023

  • 基于分数的扩散模型中使用评分嵌入进行高效去噪

    通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。

    Apr, 2024

  • 自动去噪评分匹配用于非线性扩散

    本研究介绍了一种基于扩散过程的可逆学习方法，其核心在于学习其评分形式，用于估计科学系统的性质。我们引入一系列可计算的去噪评分匹配目标，称为局部-DSM，利用扩散过程的局部增量。我们展示了如何使用局部-DSM和泰勒展开进行自动训练和评分估计，用于非线性扩散过程。为了证明这些想法，我们使用自动-DSM在具有挑战性的低维分布和CIFAR10图像数据集上训练生成模型。此外，我们使用自动-DSM学习了在统计物理学中研究的非线性过程的评分。

    Jul, 2024

  • 从最优得分匹配到最优采样

    本研究解决了得分匹配在高维数据生成中的理论不足，提出了一种新的最优得分估计方法，建立了光滑密度函数的尖锐最小最大估计速率。研究结果表明，生成的样本分布能够以最优速率逼近真实分布，显著提升了得分匹配模型的理论基础。

    Sep, 2024