Jun, 2024

MLCM: 多步一致性蒸馏的潜态扩散模型

PDF
TL;DR将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM 通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM 仅需 2-8 个采样步骤即可产生高质量、令人愉悦的图像，比 4 步骤的 LCM、8 步骤的 SDXL-Lightning 和 8 步骤的 HyperSD 显著优越；此外，MLCM 还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。
latent diffusion modelsmultistep consistency distillationlow-cost high-quality image synthesissampling stepsmlcm
发现论文，激发创造
  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 轨迹一致性蒸馏

    通过增加 Trajectory Consistency Distillation（TCD）的一组函数和策略性的随机采样的设计，可以显著提高图像生成质量，同时减少由多步一致性采样中积累的误差所致的细节不足，并且在较高的 NFEs 下相较于教师模型更加详细。

    Feb, 2024

  • 奖励引导的潜变量一致性蒸馏

    通过奖励引导，补偿样本质量损失，提高 Latent Consistency Distillation (LCD) 方法的图像生成质量，同时使用潜变量代理奖励模型 (latent proxy RM, LRM) 作为中介，连接 Latent Consistency Model (LCM) 和奖励模型 (RM) 来避免高频噪声，从而实现更高质量的大规模图像生成。

    Mar, 2024

  • 潜在数据集精炼与扩散模型

    我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

    Mar, 2024

  • 多步骤一致性模型

    多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法，通过增加采样步骤可以更容易地训练出高质量样本，保持了大部分采样速度的优势。

    Mar, 2024

  • 视频 LCM：视频潜在一致性模型

    论文介绍了一种名为 VideoLCM 的框架，它利用了一致性模型的概念，通过最小步骤高效地合成视频，同时保持高质量。VideoLCM 基于现有的潜在视频扩散模型，并结合了一致性蒸馏技术来训练潜在一致性模型。实验结果表明，VideoLCM 在计算效率、保真度和时间一致性方面的有效性。尤其值得注意的是，VideoLCM 仅需四个采样步骤即可实现高保真度和流畅的视频合成，展示了实时合成的潜力。希望 VideoLCM 能成为后续研究的简单而有效的基准。源代码和模型将公开提供。

    Dec, 2023

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了 Stochastic Consistency Distillation (SCott) 方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散 - V1.5 模型上，表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。

    Mar, 2024

  • EdgeFusion：设备端文本到图像生成

    通过对稳定扩散（SD）的高效计算负担进行改进，我们提出了两种策略，即利用先进的生成模型和为 LCM 定制的先进蒸馏流程，通过量化、剖析和资源有限的边缘设备上的部署，实现了在仅两步、低于一秒的延迟下，生成具有照片写实风格、与文本对齐的图像。

    Apr, 2024

  • 分阶段一致性模型

    通过解决现有设计中的三个关键缺陷，本文提出了阶段一致性模型（PCM），该模型在多步细化的任务上显著优于现有方法，在一步生成任务上与先前的最新方法相当甚至更优。此外，PCM 的方法学还可应用于视频生成，使其成为最先进的少步文本到视频生成器之一。

    May, 2024

  • 动作一致性模型：使用解耦的运动 - 外观蒸馏加速视频扩散

    运用图像扩散提炼高保真生成的方法对视频扩散应用直接导致了公开视频数据集中视觉质量有限的帧质量不尽如人意的问题。研究旨在利用丰富的高质量图像数据提高视频扩散提炼的品质，同时改进帧外观。提出了一种称为运动一致模型 （MCM）的单阶段视频扩散提炼方法，通过分离运动和外观学习来改善视频扩散提炼。MCM 包括一个可以从视频教师模型中提炼运动的视频一致性模型和一种增强帧外观以匹配高质量图像数据的图像鉴别器。通过引入分离化的运动提炼和混合轨迹提炼来解决两个挑战：冲突的帧学习目标以及由于训练和推断中使用的视频样本质量不同而产生的训练 - 推断偏差。大量实验结果表明，MCM 达到了最先进的视频扩散提炼性能，并且方法可提高视频扩散模型的帧质量，能够生成具有高美感得分或特定风格的帧，而无需相应的视频数据。

    Jun, 2024