通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

Jan, 2024

通过基于分数的逆扩散算法生成的高质量样本提供了证据，表明尽管遭受维度灾难的困扰，用于降噪训练的深度神经网络（DNN）可以学习高维密度。然而，关于训练集记忆化的最近报导引发了一个问题，即这些网络是否正在学习数据的 “真实” 连续密度。在本文中，我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数，从而学习到相同的密度，并且只需要非常少的训练图像。这种强大的泛化表明 DNN 架构和 / 或训练算法中的强大归纳偏差与数据分布的特性相一致。我们通过对这些内容进行分析来证明这一点，证明了去噪器在适应底层图像的基础上执行了一个收缩操作。对这些基础的检查揭示了轮廓线和均匀图像区域中的振荡谐波结构。我们通过证明即使在训练于低维流形等图像类别的情况下，这些经过训练的去噪器也会生成这种几何自适应谐波表示来表明它们在归纳偏差方面具有偏好。此外，我们还展示了当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时，网络的去噪性能接近最优。

Oct, 2023

本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。

Feb, 2024

本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

Jun, 2021

对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

Jun, 2024

基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

Oct, 2023

本研究提出了一种名为去噪扩散算子的数学严谨框架，用于在函数空间中训练扩散模型，将它推广到无限维函数空间的应用，其中前向过程是逐渐扰动输入函数，生成过程是通过积分的函数值 Langevin 动力学实现。

Feb, 2023

通过解决数值上求解对数密度福克 - 普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。

Apr, 2024

提出了一种基于扩散的表示学习方法，通过扩展去噪得分匹配框架实现无监督学习；使用此方法学习无限维潜在码，实现半监督图像分类的最优结果，并通过下游任务的表现比较与其他方法的学习表示质量。

May, 2021

许多概率模型可以灵活地提取 Diffusion Models 来学习基础知识，该论文提供了现代方法的全面概述，以提取 Diffusion Models 中的知识，并共享一些在该领域开始研究的基本了解人士可能感兴趣的信息。

Apr, 2023