提出基于一致性约束的得分匹配方法,实验结果表明得到了CIFAR-10中条件和无条件生成的最新成果和AFHQ以及FFHQ的基准改进。
Feb, 2023
一篇研究论文介绍了一种名为Consistency Trajectory Model(CTM)的模型,能够在扩散过程中进行无限制的时间遍历,并通过使用梯度评分和增强性对抗训练来提高性能,实现了在CIFAR-10和ImageNet上的高质量采样和新的最先进指标。
Oct, 2023
一步采样的连贯性模型在训练阶段中具有良好的实证效果,通过训练一系列连贯性函数,能够将扩散过程的任何时间步骤的任意点映射到其起始点,其理论基础表明,为了生成与目标分布在ε接近程度内的样本,连贯性学习的步骤数应超过d^5/2/ε,其中d为数据维度,这一理论为连贯性模型的有效性和实用性提供了深入洞察,从而启示其在下游推理任务中的实用性。
Feb, 2024
扩散模型及一致性模型结合的双向一致性模型能够通过学习单个神经网络在概率流常微分方程上实现向前和向后遍历,从而实现一步生成和反演,且可用额外步骤提高生成质量或减少重建误差,并在插值、修复等下游任务中展现出强大的能力,包括恢复压缩图像和抵御黑盒对抗攻击。
Mar, 2024
扩散模型在近年来引起了广泛关注,然而其高计算成本限制了实际应用,本文通过研究发现了扩散模型的稳定性,并提出了两种训练加速策略,即课程学习的时间步骤调度和动量衰减策略。实验结果表明,这些策略可以显著减少训练时间并提高生成图像的质量。
通过引入一种新的耦合,将输入的噪声数据与生成的一致性模型输出相关联,使得一致性训练更接近评分蒸馏,并且加快了一致性训练的收敛速度和提高了性能。
Jun, 2024
一种训练一致性模型的替代方案,通过表达常态模型轨迹的微分方程,提高训练效率,并显示出经典的幂律缩放规律。
本文提出了一种统计理论,将一致性模型的训练视为分布差异最小化问题,并通过使用Wasserstein距离,导出了与传统扩散模型相匹配的一致性模型的统计估计速率,同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。
本研究旨在解决扩散去噪桥接模型(DDBMs)在采样过程中对计算资源的高需求问题。我们提出了一种新颖的方法,通过学习DDBMs的概率流常微分方程的连续性函数,从而实现高效采样。实验结果表明,该方法可实现比基础DDBM快4到50倍的采样速度,并在视觉质量方面表现更佳,具有显著的实用价值。
Oct, 2024
本研究解决了扩散去噪桥接模型在采样过程中所需高计算成本的问题,通过学习概率流常微分方程的一致性函数来提升采样效率。提出的两个新方法使得采样速度提高了4到50倍,同时在视觉质量上也表现更优,推动了扩散模型在图像翻译等应用中的实际部署。