Jan, 2021

基于分数的扩散模型的最大似然训练

PDF
TL;DR本文提出基于分数的扩散模型的最大似然训练方法，其中采用一种特定的权重方案，目标函数上界拘束负对数似然函数，达到了与当前最先进的自回归模型同等水平的负对数似然性能，验证了该方法在多个数据集、随机过程和模型结构上的有效性。
score-based diffusion modelsmaximum likelihood trainingscore matching lossesnormalizing flowsnegative log-likelihood
发现论文，激发创造
  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 高阶降噪得分匹配用于分数型扩散 ODE 的最大似然训练

    该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练，以提高得分模型的生成质量和对于数据概率分布的似然评估。

    Jun, 2022

  • 扩散训练的样本高效性

    评分扩散模型是深度生成建模图像的最流行方法，其理论和实证性能表现出有效采样、$L^2$ 精确评分估计、样本复杂度和 Wasserstein 准确性。

    Nov, 2023

  • 基于分值的生成建模暗中最小化 Wasserstein 距离

    本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的 Wasserstein 距离，同时说明此类模型的目标函数与生成分布和数据分布的 Kullback-Leibler 散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。

    Dec, 2022

  • 通过凸优化对基于神经网络的生成扩散模型进行分析

    本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。

    Feb, 2024

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 基于分数的扩散模型的极小极大最优性：超越密度下界假设

    我们从非参数统计学的角度研究了大样本情况下基于得分的扩散模型抽样的渐近误差，并证明了核密度估计得分函数的均方误差取得最优解。通过采用早停策略，对非参数空间进行约束，可以得出扩散模型的近似最优性。这一研究消除了以往对于非参数族中概率分布的关键下界假设。

    Feb, 2024

  • 基于分数扩散模型的条件图像生成

    本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。

    Nov, 2021

  • 基于条件分数的数据生成的去噪似然评分匹配

    通过 Denoising Likelihood Score Matching（DLSM）损失函数的训练，我们可以解决已有条件分数数据生成方法中分类器训练目标会导致分数不匹配的问题，从而更准确地建模条件分数并缓解这个问题。在 Cifar-10 和 Cifar-100 基准测试中，实验结果表明提议的方法在多个关键评估指标上优于以前的方法。

    Mar, 2022