基于神经网络的扩散模型分值估计：优化与泛化
利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究，我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似，同时这些算法适用于高效的神经网络表示，通过示例验证了这一观察，并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。
Sep, 2023
本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。
Feb, 2024
我们从非参数统计学的角度研究了大样本情况下基于得分的扩散模型抽样的渐近误差，并证明了核密度估计得分函数的均方误差取得最优解。通过采用早停策略，对非参数空间进行约束，可以得出扩散模型的近似最优性。这一研究消除了以往对于非参数族中概率分布的关键下界假设。
Feb, 2024
通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率，并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数，我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能，其意义上地以更快速度实现了类似的质量。
Apr, 2024
通过梯度引导实现扩散模型的细调，以用户定义的优化目标适应特定任务需求，包括理论研究、梯度引导的采样过程和梯度引导的迭代扩散，以及潜在结构的保留和全局最优解的收敛速率。
Apr, 2024
本研究介绍了一种基于扩散过程的可逆学习方法，其核心在于学习其评分形式，用于估计科学系统的性质。我们引入一系列可计算的去噪评分匹配目标，称为局部-DSM，利用扩散过程的局部增量。我们展示了如何使用局部-DSM和泰勒展开进行自动训练和评分估计，用于非线性扩散过程。为了证明这些想法，我们使用自动-DSM在具有挑战性的低维分布和CIFAR10图像数据集上训练生成模型。此外，我们使用自动-DSM学习了在统计物理学中研究的非线性过程的评分。
Jul, 2024
本研究解决了得分匹配在高维数据生成中的理论不足，提出了一种新的最优得分估计方法，建立了光滑密度函数的尖锐最小最大估计速率。研究结果表明，生成的样本分布能够以最优速率逼近真实分布，显著提升了得分匹配模型的理论基础。
Sep, 2024