Oct, 2023

一致性轨迹模型：学习扩散的概率流动ODE轨迹

HTML
PDF
TL;DR一篇研究论文介绍了一种名为Consistency Trajectory Model（CTM）的模型，能够在扩散过程中进行无限制的时间遍历，并通过使用梯度评分和增强性对抗训练来提高性能，实现了在CIFAR-10和ImageNet上的高质量采样和新的最先进指标。
发现论文，激发创造
  • 一致性扩散模型：通过学习一致性来缓解采样漂移

    提出基于一致性约束的得分匹配方法，实验结果表明得到了CIFAR-10中条件和无条件生成的最新成果和AFHQ以及FFHQ的基准改进。

    Feb, 2023

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs通过直接预测导引反向扩散过程的ODE解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • T-Stitch：使用轨迹拼接加速预训练扩散模型的采样

    使用Trajectory Stitching T-Stitch技术，通过使用较小的diffusion probabilistic model（DPM）进行初始步骤，然后在后续阶段转换为更大的DPM，实现采样效率的提高而无需降低生成质量。该方法是无需训练的，适用于不同结构，能够在速度和质量之间灵活权衡。

    Feb, 2024

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了Stochastic Consistency Distillation (SCott)方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散-V1.5模型上，表现优于其他模型在MSCOCO-2017 5K数据集上的生成结果。

    Mar, 2024

  • 图像操作的一般性一致轨迹模型

    本文介绍了扩散式生成模型的成功之处以及其与一般CTMs和GCTMs的关系，并证明了GCTMs在图像操纵任务中的有效性。

    Mar, 2024

  • 加速扩散模型的训练：一种一致性现象的启示

    扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。

    Mar, 2024

  • 基于ODE的扩散采样的轨迹规律性

    扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在5到10个函数评估中。

    May, 2024

  • 截断一致性模型

    本研究解决了一致性模型在从扩散模型加速采样时，训练过程对生成性能的限制。通过对一致性训练进行截断时间范围的推广，使模型专注于生成，同时提出了新的一致性函数参数化和二阶段训练程序。实验证明，该方法在CIFAR-10和ImageNet数据集上实现了比现有先进模型更优的生成效果。

    Oct, 2024

  • 一致性扩散桥接模型

    本研究旨在解决扩散去噪桥接模型(DDBMs)在采样过程中对计算资源的高需求问题。我们提出了一种新颖的方法，通过学习DDBMs的概率流常微分方程的连续性函数，从而实现高效采样。实验结果表明，该方法可实现比基础DDBM快4到50倍的采样速度，并在视觉质量方面表现更佳，具有显著的实用价值。

    Oct, 2024

  • 一致性扩散桥接模型

    本研究解决了扩散去噪桥接模型在采样过程中所需高计算成本的问题，通过学习概率流常微分方程的一致性函数来提升采样效率。提出的两个新方法使得采样速度提高了4到50倍，同时在视觉质量上也表现更优，推动了扩散模型在图像翻译等应用中的实际部署。

    Oct, 2024