Nov, 2023

扩散训练的样本高效性

PDF
TL;DR评分扩散模型是深度生成建模图像的最流行方法，其理论和实证性能表现出有效采样、$L^2$ 精确评分估计、样本复杂度和 Wasserstein 准确性。
score-based diffusion modelsdeep generative modeling$l^2$-accurate score estimatessample complexitywasserstein accuracy
发现论文，激发创造
  • 基于分数的扩散模型的最大似然训练

    本文提出基于分数的扩散模型的最大似然训练方法，其中采用一种特定的权重方案，目标函数上界拘束负对数似然函数，达到了与当前最先进的自回归模型同等水平的负对数似然性能，验证了该方法在多个数据集、随机过程和模型结构上的有效性。

    Jan, 2021

  • 基于分值的生成建模暗中最小化 Wasserstein 距离

    本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的 Wasserstein 距离，同时说明此类模型的目标函数与生成分布和数据分布的 Kullback-Leibler 散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。

    Dec, 2022

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 基于分数的扩散模型中使用评分嵌入进行高效去噪

    通过解决数值上求解对数密度福克 - 普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。

    Apr, 2024

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 基于扩散的生成模型及其误差界：全收敛估计下的对数凹情况

    我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

    Nov, 2023

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 深度网络作为去噪算法：在高维图模型中有效学习扩散模型

    利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究，我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似，同时这些算法适用于高效的神经网络表示，通过示例验证了这一观察，并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。

    Sep, 2023

  • 基于分数的扩散模型的极小极大最优性：超越密度下界假设

    我们从非参数统计学的角度研究了大样本情况下基于得分的扩散模型抽样的渐近误差，并证明了核密度估计得分函数的均方误差取得最优解。通过采用早停策略，对非参数空间进行约束，可以得出扩散模型的近似最优性。这一研究消除了以往对于非参数族中概率分布的关键下界假设。

    Feb, 2024