Cometh:一种连续时间离散状态的图扩散模型
本文提出了一种离散状态连续时间设置的图扩散生成模型,该模型在以前的图扩散模型中从未被研究过。分析表明,我们的训练目标与生成质量密切相关,我们提出的生成框架在节点排序的排列方面具有理想的不变 / 等变特性。我们的模型在各种基准测试中表现出有竞争力的实证性能,同时在采样阶段可以在生成质量和效率之间灵活权衡。
May, 2024
该研究提出了第一个完整的离散数据扩散模型去噪声的连续时间框架,使用连续时间马尔可夫链模型可以有效地训练模型,利用高维 CTMC 模拟技术和连续时间框架可导出高性能抽样器,超越了离散时间方法。此外,还得到了关于生成样本分布与真实数据分布之间误差的新理论结果。
May, 2022
通过研究时态连续的马尔可夫跳跃过程和离散状态空间下的状态连续扩散过程之间的对应关系,本研究桥接了离散和连续状态空间,并提出了一种直接与去噪评分匹配相关的马尔可夫跳跃过程的时态逆过程训练算法。
May, 2024
在这篇论文中,我们研究了离散扩散模型的理论特性,通过引入一个算法利用连续马尔可夫链的均匀化,在随机时间点进行转移,我们得出了关于从超立方体上的任何分布进行采样的总变异距离和 KL 散度保证。
Feb, 2024
提出了一种用于简化离散扩散的数学简化方案,同时还提出了一种能够精确和加速采样的简单公式,并通过创建一个统一的模型,简化离散扩散的前向和后向概率计算,取得了在现有数据集上优于其他方法的效果。
Feb, 2024
在自然科学领域中,离散状态空间上的生成模型具有广泛的潜在应用。本文介绍了一种在离散状态空间模型上应用引导的通用方法,该方法依赖于在离散状态空间上利用连续时间马尔可夫过程,从而实现了从期望的引导分布中进行抽样的计算可行性。我们展示了该方法在图像、小分子、DNA 序列和蛋白质序列的引导生成等多个应用中的实用性。
Jun, 2024
去噪扩散模型是一种将噪声转换为数据的强大生成技术,本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证,并提出了一种加速采样器来提高收敛速度和维度依赖性。
Feb, 2024
通过离散流模型(DFMs)实现了流模型在多模态连续与离散数据问题上的应用,利用连续时间马尔可夫链实现了离散空间流匹配,进一步改进了基于扩散的方法,成功构建了多模态流建模框架,并应用于蛋白质共设计任务,取得了最先进的共设计性能,同时能灵活生成序列或结构。
Feb, 2024
在这篇论文中,我们介绍了一种软吸收状态,它有助于扩展扩散模型学习基于高斯空间的离散突变重构,从而增强其恢复条件信号的能力。在采样阶段,我们使用最先进的 ODE 求解器在连续空间中加快采样过程。全面的实验评估显示,我们提出的方法通过 4 倍加速了训练收敛速度,并且以 800 倍更快的速度生成类似质量的样本,使其更接近实际应用。
Oct, 2023