Mar, 2024

GANTASTIC: 以 GAN 为基础的可解释方向传输在文本到图像扩散模型中的应用

PDF
TL;DR通过将预训练的生成对抗网络（GAN）模型中代表特定、可控属性的方向转移至扩散模型中，GANTASTIC 提出了一种新颖的框架，既保持了扩散模型已知的生成质量和多样性，又显著增强了其进行精确、有针对性的图像编辑的能力。
image generation modelsdiffusion modelsgenerative adversarial networksgansimage editing
发现论文，激发创造
  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 基于注意力引导的生成对抗网络的无监督图像转换

    本文提出了基于注意力机制的生成对抗网络 AGGAN，在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化，训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失，实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。

    Mar, 2019

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • 可控图像翻译的统一生成对抗网络

    该研究提出了一种基于生成对抗网络的统一方法，实现可以由可控的结构来指导的多种图像转换任务，包括手势转换和跨视角图像转换，其性能显著优于其他基于深度学习的方法

    Dec, 2019

  • T-GD: 可转移的 GAN 生成图像检测框架

    本文提出了一种名为 T-GD 的转移性 GAN 图像检测框架，它包括一个教师模型和一个学生模型，通过迭代地相互训练和评估来提高检测性能，着重于提高 GAN 图像检测的可转移性和迁移学习能力，可以在没有元数据信息的情况下，通过很少的数据就能够有效地检测最新的 GAN 图像。

    Aug, 2020

  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 用生成式对抗网络实现无监督图像翻译

    介绍了一种基于深度卷积神经网络以及条件生成式对抗网络的通用方法，通过非监督学习来解决图像转换问题，实现了不同域之间的图像转换，并且在多样性方面表现出了很好的通用性。

    Jan, 2017

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022