离散扩散模型的收敛分析:通过均一化实现精确实施
提出了一种用于简化离散扩散的数学简化方案,同时还提出了一种能够精确和加速采样的简单公式,并通过创建一个统一的模型,简化离散扩散的前向和后向概率计算,取得了在现有数据集上优于其他方法的效果。
Feb, 2024
该研究提出了第一个完整的离散数据扩散模型去噪声的连续时间框架,使用连续时间马尔可夫链模型可以有效地训练模型,利用高维 CTMC 模拟技术和连续时间框架可导出高性能抽样器,超越了离散时间方法。此外,还得到了关于生成样本分布与真实数据分布之间误差的新理论结果。
May, 2022
去噪扩散模型是一种将噪声转换为数据的强大生成技术,本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证,并提出了一种加速采样器来提高收敛速度和维度依赖性。
Feb, 2024
研究了离散状态下的 Markov 过程以及其反向扩散,提出了命名为 'Blackout Diffusion' 的新的方案,可以从空图像而不是噪声中产生样本,从特定前向过程到离散态过程的泛化可以帮助解释扩散模型。
May, 2023
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
通过提出一种新颖的去随机扩散过程,我们加速了离散扩散模型的算法;我们还引入了一种连续时间采样算法,能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明,在自然语言生成和机器翻译任务中,我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。
Dec, 2023
本文中,我们在变分和基于分数的透视下回顾,阐释和统一了扩散模型的理解。我们提出了变分扩散模型(VDM),并证明优化 VDM 归结为学习神经网络来预测原始源输入,原始源噪声或噪声输入的分数函数。最后,我们介绍了如何使用扩散模型通过引导来学习条件分布。
Aug, 2022
本文提出了一种离散状态连续时间设置的图扩散生成模型,该模型在以前的图扩散模型中从未被研究过。分析表明,我们的训练目标与生成质量密切相关,我们提出的生成框架在节点排序的排列方面具有理想的不变 / 等变特性。我们的模型在各种基准测试中表现出有竞争力的实证性能,同时在采样阶段可以在生成质量和效率之间灵活权衡。
May, 2024
通过引入一种可以上界反向 Kullback-Leibler 散度且避免要求确切样本似然的损失函数,本研究提出了一种能够解决在不依赖相应训练数据的情况下从难以处理的离散集合中进行采样的问题的方法,并展示了该方法在无数据组合优化中实现了最先进的性能。
Jun, 2024
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的扩散式生成模型,包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要,且提出的新损失函数在字符级别文本生成上取得了很好的效果。
Jul, 2021