Jan, 2024

E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

PDF
TL;DR通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。
data distillationtext-to-image diffusion modelsgenerative adversarial networksfine-tuninghigh-quality image editing
发现论文，激发创造
  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 将扩散模型融合为条件生成对抗网络

    我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

    May, 2024

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • GANTASTIC: 以 GAN 为基础的可解释方向传输在文本到图像扩散模型中的应用

    通过将预训练的生成对抗网络（GAN）模型中代表特定、可控属性的方向转移至扩散模型中，GANTASTIC 提出了一种新颖的框架，既保持了扩散模型已知的生成质量和多样性，又显著增强了其进行精确、有针对性的图像编辑的能力。

    Mar, 2024

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 利用预训练的 GAN 生成有限数据

    本研究利用预训练的大规模 GAN 模型在有限数据情境下实现了对感知明显目标领域的图像生成，提出了自适应滤波器调制（AdaFM）的方法，证明了此技术在限制数据生成方面的有效性。

    Feb, 2020

  • Mind2Mind : GAN 的迁移学习

    该论文提出了一种基于迁移学习和自编码约束的生成对抗网络的训练技巧，可以极大加速高质量图像的训练，并在最优传输的框架下证明了该方法的收敛性和训练距离的精确界限。

    Jun, 2019

  • 加速迭代扩散反演的有效真实图像编辑

    使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。

    Sep, 2023