Mar, 2020

生成对抗网络压缩的可移植图像翻译模型

PDF
TL;DR提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。
generative adversarial networksnetwork compressionknowledge distillationstudent generatoradversarial learning
发现论文，激发创造
  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • TinyGAN：基于 BigGAN 的有条件图像生成蒸馏

    提出了一种基于黑盒知识蒸馏的 GAN 模型压缩方法，将 BigGAN 作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

    Sep, 2020

  • 小波知识蒸馏：实现高效的图像到图像翻译

    本论文提出了一种基于离散小波变换的知识蒸馏方法，用于提高小型生成对抗网络在高频信息生成方面的性能，在保证性能无明显下降的情况下，可将模型体积缩小 7.08 倍、加速 6.80 倍，并研究了鉴别器和生成器之间的关系。

    Mar, 2022

  • 图像到图像翻译的语义关系保持知识蒸馏

    本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法，该方法在 5 个数据集和 3 个教师 - 学生模型对的实验中，证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。

    Apr, 2021

  • 轻量级生成对抗网络用于文本引导的图像操纵

    我们提出了一种新颖的轻量化生成对抗网络，使用自然语言描述来进行有效的图像操作。我们提出了一种新的单词级别鉴别器，为生成器提供细粒度的单词级别训练反馈，以便训练一个轻量级生成器，该生成器具有少量参数，但仍然能够正确地关注图像的特定视觉属性，然后进行编辑，而不会影响其他未在文本中描述的内容。与现有技术相比，我们的方法具有更少的参数数量，但仍然实现了有竞争力的操作性能。广泛的实验结果表明，我们的方法能够更好地解耦不同的视觉属性，然后正确地将它们映射到相应的语义词汇，从而使用自然语言描述实现更准确的图像修改。

    Oct, 2020

  • AutoGAN-Distiller：搜索压缩生成对抗网络

    本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

    Jun, 2020

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • 用生成式对抗网络实现无监督图像翻译

    介绍了一种基于深度卷积神经网络以及条件生成式对抗网络的通用方法，通过非监督学习来解决图像转换问题，实现了不同域之间的图像转换，并且在多样性方面表现出了很好的通用性。

    Jan, 2017

  • 非配对图像翻译的共同演化压缩

    本文针对图像翻译中具有复杂架构、参数数量众多、计算复杂度较高的生成器，提出了一种全新的协同进化方法，以减少其内存使用量及乘法操作次数，从而在图像翻译中实现紧凑高效的生成器设计。Experiments 表明，该方法的有效性得到了充分的验证。

    Jul, 2019