一篇研究论文介绍了一种名为 Consistency Trajectory Model(CTM)的模型,能够在扩散过程中进行无限制的时间遍历,并通过使用梯度评分和增强性对抗训练来提高性能,实现了在 CIFAR-10 和 ImageNet 上的高质量采样和新的最先进指标。
Oct, 2023
MusicCM 利用一致性模型来高效合成音乐剪辑的 mel - 频谱图,通过最小化采样步骤保持高质量,并通过多个扩散过程生成连贯的音乐,实现了计算效率、保真度和自然性的有效性。
Apr, 2024
我们给出了一种新型一步生成模型的收敛保证,这种模型被称为一致性模型(CMs),可以在一步内高效地从任何现实数据分布中进行采样并产生与弥散模型生成的样本相媲美的结果。
Aug, 2023
本文介绍了扩散式生成模型的成功之处以及其与一般 CTMs 和 GCTMs 的关系,并证明了 GCTMs 在图像操纵任务中的有效性。
Mar, 2024
一步采样的连贯性模型在训练阶段中具有良好的实证效果,通过训练一系列连贯性函数,能够将扩散过程的任何时间步骤的任意点映射到其起始点,其理论基础表明,为了生成与目标分布在 ε 接近程度内的样本,连贯性学习的步骤数应超过 d^5/2/ε,其中 d 为数据维度,这一理论为连贯性模型的有效性和实用性提供了深入洞察,从而启示其在下游推理任务中的实用性。
Feb, 2024
扩散模型及一致性模型结合的双向一致性模型能够通过学习单个神经网络在概率流常微分方程上实现向前和向后遍历,从而实现一步生成和反演,且可用额外步骤提高生成质量或减少重建误差,并在插值、修复等下游任务中展现出强大的能力,包括恢复压缩图像和抵御黑盒对抗攻击。
利用潜在一致性模型(LCMs)解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题,LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中,实现了快速、高保真度的采样。
通过解决现有设计中的三个关键缺陷,本文提出了阶段一致性模型(PCM),该模型在多步细化的任务上显著优于现有方法,在一步生成任务上与先前的最新方法相当甚至更优。此外,PCM 的方法学还可应用于视频生成,使其成为最先进的少步文本到视频生成器之一。
May, 2024
一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法,通过改进的一致性训练技术,该研究提出了克服预训练模型局限性以及避免评估偏差的方法,并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。
利用合适的检查点平均系数, LCSC 方法能够通过沿训练轨迹结合检查点来增强 DM 和 CM 的性能,以降低训练成本并提高预先训练模型的生成质量。