本文通过导出一个变分框架来推导连续时间生成扩散理论,并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆SDE插件的似然度的下限。
Jun, 2021
本文研究使用基于得分的扩散模型进行深层生成建模的方法,系统比较和理论分析不同方法学习条件概率分布的效果,并证明得出条件得分最成功的估计器的理论依据。同时,介绍了多速度扩散框架,提出了一个新的条件分数估计器,与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库MSDiff,可用于应用和进一步研究多速度扩散模型。
Nov, 2021
该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练,以提高得分模型的生成质量和对于数据概率分布的似然评估。
Jun, 2022
本文中,我们在变分和基于分数的透视下回顾,阐释和统一了扩散模型的理解。我们提出了变分扩散模型(VDM),并证明优化VDM归结为学习神经网络来预测原始源输入,原始源噪声或噪声输入的分数函数。最后,我们介绍了如何使用扩散模型通过引导来学习条件分布。
Aug, 2022
利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究,我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似,同时这些算法适用于高效的神经网络表示,通过示例验证了这一观察,并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。
Sep, 2023
通过对分数函数的规范分析,我们发现分数模型中存在线性结构,从而能够精确预测初始扩散轨迹并加速图像采样15-30%,对模型设计和数据预处理具有重要意义。
Nov, 2023
评分扩散模型是深度生成建模图像的最流行方法,其理论和实证性能表现出有效采样、$L^2$精确评分估计、样本复杂度和Wasserstein准确性。
通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接,本文提出了第一次得分函数学习的一般化误差(样本复杂性)边界,从而克服了观测值中存在噪声的问题。
Jan, 2024
通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率,并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数,我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能,其意义上地以更快速度实现了类似的质量。
Apr, 2024
本研究解决了得分匹配在高维数据生成中的理论不足,提出了一种新的最优得分估计方法,建立了光滑密度函数的尖锐最小最大估计速率。研究结果表明,生成的样本分布能够以最优速率逼近真实分布,显著提升了得分匹配模型的理论基础。
Sep, 2024