研究了离散状态下的Markov过程以及其反向扩散,提出了命名为 'Blackout Diffusion' 的新的方案,可以从空图像而不是噪声中产生样本,从特定前向过程到离散态过程的泛化可以帮助解释扩散模型。
May, 2023
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数$T$成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数$T$的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
利用连续动力系统设计一种新型去噪网络,以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比,该模型具有约四分之一的参数量和百分之三十的浮点操作数(FLOPs),推理速度提高了70%,并且收敛到了更好的质量解。
Oct, 2023
研究论文简述:本文表明,在观测到非均匀采样离散时间时,非均匀离散时间马尔可夫过程中的去噪扩散概率模型(DDPM)可以通过具有时间均匀性的连续时间马尔可夫过程来表示。我们使用其解析解建立了DDPM与已知的研究广泛的Ornstein-Ohlenbeck(OU)过程之间的形式上的等价关系。我们进一步证明了非均匀DDPM中的噪声调度器设计问题等价于OU过程的观测时间设计问题。我们基于如自动方差和费舍尔信息等原理性量化指标,提出了几种启发式的观测时间设计,并将它们与DDPM的特殊噪声调度相连接。有趣的是,我们展示了费舍尔信息驱动的调度与余弦调度完全一致,后者是没有任何理论基础但是目前最先进的噪声调度。
Nov, 2023
提出了一种用于简化离散扩散的数学简化方案,同时还提出了一种能够精确和加速采样的简单公式,并通过创建一个统一的模型,简化离散扩散的前向和后向概率计算,取得了在现有数据集上优于其他方法的效果。
Feb, 2024
在这篇论文中,我们研究了离散扩散模型的理论特性,通过引入一个算法利用连续马尔可夫链的均匀化,在随机时间点进行转移,我们得出了关于从超立方体上的任何分布进行采样的总变异距离和KL散度保证。
去噪扩散模型是一种将噪声转换为数据的强大生成技术,本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证,并提出了一种加速采样器来提高收敛速度和维度依赖性。
通过研究时态连续的马尔可夫跳跃过程和离散状态空间下的状态连续扩散过程之间的对应关系,本研究桥接了离散和连续状态空间,并提出了一种直接与去噪评分匹配相关的马尔可夫跳跃过程的时态逆过程训练算法。
May, 2024
通过整合图数据到连续时间扩散模型框架中,我们提出了Cometh,一种连续时间离散状态图扩散模型,以充分利用连续时间和离散状态扩散模型的优点,在大量的分子和非分子基准数据集上表明,整合连续时间会在各个指标上显著提高离散状态扩散模型的性能。
Jun, 2024
本研究解决了离散状态扩散模型收敛性分析的不足之处,提出了一种基于连续时间马尔可夫链框架的离散时间采样算法。研究表明,在特定假设下,生成的样本分布与数据分布之间的Kullback-Leibler散度和总变差距离的收敛边界几乎线性依赖于维度d,具有重要的理论价值和实用意义。
Oct, 2024