函数空间中的基于分数的扩散模型
通过引入一种新的,临界阻尼Langevin扩散,该文提出一种基于分数的生成模型框架,它可以更轻松地学习条件分布的速度得分函数,这比直接学习数据分数函数要容易得多,并用于高分辨率图像合成任务。
Dec, 2021
通过研究了不同的噪声分布(高斯分布和非高斯分布),我们发现扩散模型中高斯分布的噪声可以最好地用于生成数据,因此我们可以使用与非高斯噪声相关的扩散过程来确定噪声分布的选择。
Apr, 2023
研究了离散状态下的Markov过程以及其反向扩散,提出了命名为 'Blackout Diffusion' 的新的方案,可以从空图像而不是噪声中产生样本,从特定前向过程到离散态过程的泛化可以帮助解释扩散模型。
May, 2023
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数$T$成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数$T$的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究,我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似,同时这些算法适用于高效的神经网络表示,通过示例验证了这一观察,并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。
Sep, 2023
我们以具有未知均值的高斯分布的抽样为动机示例,通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数,同时通过与相应的抽样估计相结合,对于与数据分布之间的Wasserstein-2距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于L2准确评分估计假设的结果,以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
Nov, 2023
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
本研究解决了扩散模型在生成建模中的收敛问题,提出了一种基于基本非渐近方法的概率流常微分方程采样器的收敛理论。研究表明,在满足最小假设条件下,使用$ \ell_2 $精确估计的Stein得分函数,经过$d/\varepsilon$次迭代即可将目标分布近似至$\varepsilon$的全变差距离,显著提高了对数据生成过程的理解。
Aug, 2024
该研究解决了传统生成扩散模型忽略数据中结构信息的问题,提出了一种新颖的边缘保护扩散模型。该模型采用边缘感知噪声调度器,实现了更快速的收敛,并在图像生成任务中达到了更高的效果,特别是在形状引导的生成任务中,比现有方法显著提升了生成质量。
Oct, 2024