Feb, 2024

扩散生成模型的最近邻评分估计器

PDF
TL;DR评分函数估计是训练和采样扩散生成模型的基石。我们引入了一种利用训练集中的多个样本来大幅降低估计方差的新型最近邻评分函数估计器，并将其应用于一致性模型训练中，加快收敛速度并提高样本质量。在扩散模型中，我们展示了该估计器可以替代学习网络用于概率流 ODE 积分，为未来研究开辟了有希望的新途径。
发现论文，激发创造
  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 闭合式扩散模型

    通过对闭式评分函数进行平滑处理，我们提出了一种无须训练即可生成新样本的 SGM 模型，并提出了一种高效的基于最近邻的评分函数估计器，使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。

    Oct, 2023

  • 深度网络作为去噪算法：在高维图模型中有效学习扩散模型

    利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究，我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似，同时这些算法适用于高效的神经网络表示，通过示例验证了这一观察，并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。

    Sep, 2023

  • 基于分数扩散模型的条件图像生成

    本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。

    Nov, 2021

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 通过凸优化对基于神经网络的生成扩散模型进行分析

    本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。

    Feb, 2024

  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020