Jun, 2023

滤波引导扩散：针对黑盒扩散模型的快速滤波引导

PDF
TL;DR本研究通过在每个扩散步骤的输入上应用自适应滤波器（不需要任何额外的培训或网络内部特征），提供与最新的基于体系结构依赖方法相竞争的快速和强大的基线，并允许更连续地调整指导强度。除此之外，还可以用作简单的附加组件，以增强其他最先进的 I2I 方法的结构指导。
diffusion-based generative modelsimage-to-image translationfilteradaptive mannerself attention
发现论文，激发创造
  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • 通过频率引导扩散模型实现零样本医学图像翻译

    使用频域滤波器来指导扩散模型，以实现结构保留图像翻译的频率引导扩散模型（FGDM），同时在医学图像翻译中具有零样本学习的能力。 该模型在结构保留医学图像翻译任务中具有良好的性能。

    Apr, 2023

  • 可变频率扩散模型用于多功能文本引导的图像至图像翻译

    本研究提出了一种基于频域角度的频率控制扩散模型（FCDiffusion），用于文本导向的图像之间转换，通过离散余弦变换滤波模块将源图像的潜在特征在 DCT 域中进行滤波，从而产生带有不同 DCT 频谱波段的过滤图像特征，作为预训练的潜在扩散模型的不同控制信号来连接源图像和生成的图像。与相关方法不同，FCDiffusion 建立了一种统一的文本导向图像转换框架，适用于各种图像转换任务，仅通过在推理时在不同频率控制分支之间切换即可。通过广泛的定性和定量实验，我们证明了我们的方法在文本导向的图像转换中的有效性和优越性。

    Jul, 2024

  • 扩散自导式可控图片生成

    本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

    Jun, 2023

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 实用的即插即用扩散模型

    本文提出了一种可行的指导框架，称为实用插播（PPAP），该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家，每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验，证明了该方法可以成功地引导扩散，且小可训练参数和没有标记的数据。最后，通过我们的框架，我们展示了图像分类器，深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。

    Dec, 2022

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 引导扩散：一种泛化的插拔式条件图像合成框架

    通过使用预先训练的逆模型设计的损失，利用扩散模型的生成控制能力，我们引入了 Steered Diffusion，这是一个通用的框架，用于实现基于扩散模型的逼真零样本条件图像生成，以在推理时引导扩散模型的图像生成过程。我们的实验表明，与最先进的基于扩散的即插即用模型相比，我们的框架在多种任务上如修补、着色、文本引导的语义编辑和图像超分辨率方面有明显的定性和定量改进，同时增加了可忽略的额外计算成本。

    Sep, 2023