即插即用扩散蒸馏
本文提出了一种可行的指导框架,称为实用插播(PPAP),该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家,每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验,证明了该方法可以成功地引导扩散,且小可训练参数和没有标记的数据。最后,通过我们的框架,我们展示了图像分类器,深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。
Dec, 2022
本研究探讨了扩散模型在文本条件下生成图像的问题,并比较了不同的指导策略:CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性,后者更受人类评估人员的青睐,还可以进行图像修复。
Dec, 2021
我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型,从而大大加速推理过程,同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务,使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算,我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS,利用增强的集合。此外,我们改进了扩散模型,构建了一个多尺度鉴别器,具有文本对齐损失,建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本,E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。
May, 2024
通过图像条件实现的一种新颖的有条件蒸馏方法,将扩散模型的先验知识与图像条件相结合,大大简化了以往两阶段的蒸馏过程,并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制,实验结果表明,该方法在多个任务上的表现优于现有的人工蒸馏技术,并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。
Oct, 2023
利用生成式文本到图像模型的最新进展,我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术,我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示,以在固定的内存预算内有效地存储和推理新样本,并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。
Mar, 2024
Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法,通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题,并提出了有效的轻量级增强策略。
Jun, 2024
通过应用可逆一致性蒸馏 (invertible Consistency Distillation, iCD) 框架,实现了在少于 4 个推理步骤中高质量图像合成和准确图像编码的目标,使得具有动态引导的 iCD 成为零样本文本引导图像编辑的高效工具。
Jun, 2024
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果,提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果,提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
May, 2024