轨迹一致性蒸馏
利用潜在一致性模型(LCMs)解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题,LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中,实现了快速、高保真度的采样。
Oct, 2023
通过解决现有设计中的三个关键缺陷,本文提出了阶段一致性模型(PCM),该模型在多步细化的任务上显著优于现有方法,在一步生成任务上与先前的最新方法相当甚至更优。此外,PCM 的方法学还可应用于视频生成,使其成为最先进的少步文本到视频生成器之一。
May, 2024
论文介绍了一种名为 VideoLCM 的框架,它利用了一致性模型的概念,通过最小步骤高效地合成视频,同时保持高质量。VideoLCM 基于现有的潜在视频扩散模型,并结合了一致性蒸馏技术来训练潜在一致性模型。实验结果表明,VideoLCM 在计算效率、保真度和时间一致性方面的有效性。尤其值得注意的是,VideoLCM 仅需四个采样步骤即可实现高保真度和流畅的视频合成,展示了实时合成的潜力。希望 VideoLCM 能成为后续研究的简单而有效的基准。源代码和模型将公开提供。
Dec, 2023
将大型潜在扩散模型(LDMs)提炼为快速采样模型是一个备受关注的研究领域,本文通过扩展最新的多步一致性提炼(MCD)策略,建立了用于低成本高质量图像合成的多步潜在一致性模型(MLCM)。MLCM 通过与强调联合段一致性的渐进训练策略相结合,能够提高少步骤生成的质量。实验结果表明,MLCM 仅需 2-8 个采样步骤即可产生高质量、令人愉悦的图像,比 4 步骤的 LCM、8 步骤的 SDXL-Lightning 和 8 步骤的 HyperSD 显著优越;此外,MLCM 还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。
Jun, 2024
通过奖励引导,补偿样本质量损失,提高 Latent Consistency Distillation (LCD) 方法的图像生成质量,同时使用潜变量代理奖励模型 (latent proxy RM, LRM) 作为中介,连接 Latent Consistency Model (LCM) 和奖励模型 (RM) 来避免高频噪声,从而实现更高质量的大规模图像生成。
Mar, 2024
Hyper-SD is a novel framework that combines the advantages of ODE Trajectory Preservation and Reformulation, achieving state-of-the-art performance in multi-step inference with diffusion models.
Apr, 2024
通过对稳定扩散(SD)的高效计算负担进行改进,我们提出了两种策略,即利用先进的生成模型和为 LCM 定制的先进蒸馏流程,通过量化、剖析和资源有限的边缘设备上的部署,实现了在仅两步、低于一秒的延迟下,生成具有照片写实风格、与文本对齐的图像。
Apr, 2024
通过应用可逆一致性蒸馏 (invertible Consistency Distillation, iCD) 框架,实现了在少于 4 个推理步骤中高质量图像合成和准确图像编码的目标,使得具有动态引导的 iCD 成为零样本文本引导图像编辑的高效工具。
Jun, 2024
通过强化学习调优一致性模型,我们提出了一种能够针对任务特定奖励实现快速训练和推理的框架,该框架名为迭代学习一致性模型(RLCM)。与使用提示进行训练的强化学习调优扩散模型相比,RLCM 训练速度更快,根据奖励目标改进了生成的质量,并通过最多两个推理步骤生成高质量图像的推理过程加速。
Mar, 2024
一篇研究论文介绍了一种名为 Consistency Trajectory Model(CTM)的模型,能够在扩散过程中进行无限制的时间遍历,并通过使用梯度评分和增强性对抗训练来提高性能,实现了在 CIFAR-10 和 ImageNet 上的高质量采样和新的最先进指标。
Oct, 2023