Jun, 2024

MLCM: 多步一致性蒸馏的潜态扩散模型

HTML
PDF
TL;DR将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM仅需2-8个采样步骤即可产生高质量、令人愉悦的图像，比4步骤的LCM、8步骤的SDXL-Lightning和8步骤的HyperSD显著优越；此外，MLCM还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。
发现论文，激发创造
  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs通过直接预测导引反向扩散过程的ODE解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了Stochastic Consistency Distillation (SCott)方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散-V1.5模型上，表现优于其他模型在MSCOCO-2017 5K数据集上的生成结果。

    Mar, 2024

  • 潜在数据集精炼与扩散模型

    我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个ImageNet子集和高分辨率图像上实验表明，LD3M在1个和10个图像每类的情况下，相比最先进的精炼技术，提高了最高4.8个百分点和4.2个百分点的性能。

    Mar, 2024

  • 多步骤一致性模型

    多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法，通过增加采样步骤可以更容易地训练出高质量样本，保持了大部分采样速度的优势。

    Mar, 2024

  • 奖励引导的潜变量一致性蒸馏

    通过奖励引导，补偿样本质量损失，提高 Latent Consistency Distillation (LCD) 方法的图像生成质量，同时使用潜变量代理奖励模型 (latent proxy RM, LRM) 作为中介，连接 Latent Consistency Model (LCM) 和奖励模型 (RM) 来避免高频噪声，从而实现更高质量的大规模图像生成。

    Mar, 2024

  • Hyper-SD: 轨迹分段一致性模型的高效图像合成

    Hyper-SD is a novel framework that combines the advantages of ODE Trajectory Preservation and Reformulation, achieving state-of-the-art performance in multi-step inference with diffusion models.

    Apr, 2024

  • 分阶段一致性模型

    通过解决现有设计中的三个关键缺陷，本文提出了阶段一致性模型（PCM），该模型在多步细化的任务上显著优于现有方法，在一步生成任务上与先前的最新方法相当甚至更优。此外，PCM的方法学还可应用于视频生成，使其成为最先进的少步文本到视频生成器之一。

    May, 2024

  • 通过矩匹配多步蒸馏扩散模型

    我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达8个采样步骤，我们获得的提炼模型不仅在Imagnet数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。

    Jun, 2024

  • 一致性扩散桥接模型

    本研究旨在解决扩散去噪桥接模型(DDBMs)在采样过程中对计算资源的高需求问题。我们提出了一种新颖的方法，通过学习DDBMs的概率流常微分方程的连续性函数，从而实现高效采样。实验结果表明，该方法可实现比基础DDBM快4到50倍的采样速度，并在视觉质量方面表现更佳，具有显著的实用价值。

    Oct, 2024

  • 一致性扩散桥接模型

    本研究解决了扩散去噪桥接模型在采样过程中所需高计算成本的问题，通过学习概率流常微分方程的一致性函数来提升采样效率。提出的两个新方法使得采样速度提高了4到50倍，同时在视觉质量上也表现更优，推动了扩散模型在图像翻译等应用中的实际部署。

    Oct, 2024