Apr, 2024

Hyper-SD: 轨迹分段一致性模型的高效图像合成

HTML
PDF
TL;DRHyper-SD is a novel framework that combines the advantages of ODE Trajectory Preservation and Reformulation, achieving state-of-the-art performance in multi-step inference with diffusion models.
发现论文，激发创造
  • SDXL：提高高分辨率图像合成的潜在扩散模型

    SDXL 是一种潜在扩散模型，用于文本到图像的合成，其使用更大的 UNet 骨干网络以及多重新颖的调制方式和改进模型，且其结果竞争力与黑箱最先进的图像生成器相比具有显著提高。

    Jul, 2023

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs通过直接预测导引反向扩散过程的ODE解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 基于LoRA增强的导向扩散模型蒸馏

    我们的研究探索了一种新颖的方法，将低秩适应性（LoRA）与模型蒸馏相结合，以有效地压缩扩散模型。该方法不仅减少了推理时间，还减轻了内存开销，甚至在应用蒸馏之前就显著降低了内存消耗。结果是显著减少了由蒸馏过程导致的推理时间，并且内存消耗减少了50%。生成图像的检查强调了LoRA增强蒸馏与所提供提示的图像质量和对齐性一致。总之，传统的蒸馏倾向于增加内存消耗，而LoRA增强蒸馏则在质量方面没有任何妥协，提供了优化的解决方案。

    Dec, 2023

  • SpeedUpNet：加速文本图像传播模型的即插即用超网络

    基于文本到图像扩散模型的加速方法，提出了一种新的稳定扩散加速模块SpeedUpNet（SUN），通过多步一致性损失和交叉注意力层来减少推理步骤，并消除对分类器的引导需求，比现有的25步骤DPM-solver++模型快10倍以上。

    Dec, 2023

  • 轨迹一致性蒸馏

    通过增加Trajectory Consistency Distillation（TCD）的一组函数和策略性的随机采样的设计，可以显著提高图像生成质量，同时减少由多步一致性采样中积累的误差所致的细节不足，并且在较高的NFEs下相较于教师模型更加详细。

    Feb, 2024

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了Stochastic Consistency Distillation (SCott)方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散-V1.5模型上，表现优于其他模型在MSCOCO-2017 5K数据集上的生成结果。

    Mar, 2024

  • SDXS：带图像条件的实时单步潜变扩散模型

    通过模型微型化、减少采样步骤和知识蒸馏的双重方法，减小模型延迟，本研究提出了一种在图像生成领域优化扩散模型性能的方法。通过简化U-Net和图像解码器的结构并引入一步式DM训练技术，利用特征匹配和得分蒸馏，我们实现了两个模型SDXS-512和SDXS-1024，在单个GPU上实现了约100帧每秒（比SD v1.5快30倍）和30帧每秒（比SDXL快60倍）的推理速度。此外，我们的训练方法还在图像条件控制方面具有潜在的应用，可以实现高效的图像转换。

    Mar, 2024

  • MLCM: 多步一致性蒸馏的潜态扩散模型

    将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM仅需2-8个采样步骤即可产生高质量、令人愉悦的图像，比4步骤的LCM、8步骤的SDXL-Lightning和8步骤的HyperSD显著优越；此外，MLCM还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。

    Jun, 2024

  • 用于文本引导图像编辑的可逆一致性蒸馏方法（约7步）

    通过应用可逆一致性蒸馏 (invertible Consistency Distillation, iCD) 框架，实现了在少于4个推理步骤中高质量图像合成和准确图像编码的目标，使得具有动态引导的 iCD 成为零样本文本引导图像编辑的高效工具。

    Jun, 2024

  • 目标驱动蒸馏：带有目标时间步选择和解耦指导的一致性蒸馏

    本研究解决了现有一致性蒸馏方法在生成图像时模糊及细节丢失的问题。提出的目标驱动蒸馏（TDD）采用精细的目标时间步选择策略，并在训练中使用解耦指导，这使得TDD能够在推理期间进行指导尺度的后调优。实验结果表明，TDD在少步生成任务中实现了最先进的性能，提供了一种一致性蒸馏模型的新选择。

    Sep, 2024