Adversarial Diffusion Distillation (ADD) is a new training approach that efficiently samples large-scale image diffusion models in 1-4 steps, outperforming existing few-step methods and reaching state-of-the-art performance in only four steps, enabling real-time image synthesis.

Nov, 2023

我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

Mar, 2024

AddSR 通过结合蒸馏和 ControlNet 的思想，提出了一种基于预测自优化策略和时间步自适应的损失函数的盲超分辨率方法，可以在更短的时间内生成更好的恢复结果。

Apr, 2024

我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

我们提出了一种扩散蒸馏方法，基于 SDXL，在一步 / 几步 1024 像素的文本到图像生成任务上达到了新的最先进水平。我们的方法结合了渐进式和对抗性蒸馏来在质量和模态覆盖之间找到平衡。在本文中，我们讨论了理论分析、判别器设计、模型公式和训练技术。我们以 LoRA 和完整的 UNet 权重形式开源了我们蒸馏的 SDXL-Lightning 模型。

Feb, 2024

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

Dec, 2023

该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的 FFHQ 和 CelebA-HQ 数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

Dec, 2023

AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

Nov, 2023