关于引导式扩散模型的精馏
通过新的参数化方法和扩散模型的渐进提炼过程,从而在不降低感知质量的前提下将采样步骤尽量减少到四步,从而提高了采样效率,并为生成建模提供了高效的解决方案。
Feb, 2022
通过图像条件实现的一种新颖的有条件蒸馏方法,将扩散模型的先验知识与图像条件相结合,大大简化了以往两阶段的蒸馏过程,并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制,实验结果表明,该方法在多个任务上的表现优于现有的人工蒸馏技术,并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。
Oct, 2023
我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型,从而大大加速推理过程,同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务,使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算,我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS,利用增强的集合。此外,我们改进了扩散模型,构建了一个多尺度鉴别器,具有文本对齐损失,建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本,E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。
May, 2024
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果,提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果,提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
May, 2024
使用自身较小、较少训练的模型而不是无条件模型,引导生成图像,可以获得图像质量分离的控制,同时不减少变化量。这在 ImageNet 生成方面有显著的改进,64x64 像素的 FID 为 1.01,512x512 像素的 FID 为 1.25,使用公开可用的网络。此方法还适用于无条件扩散模型,大幅提高它们的质量。
Jun, 2024
本研究探讨了扩散模型在文本条件下生成图像的问题,并比较了不同的指导策略:CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性,后者更受人类评估人员的青睐,还可以进行图像修复。
Dec, 2021