Feb, 2019

知识蒸馏压缩生成对抗网络

PDF
TL;DR本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。
generative adversarial networksknowledge distillationparameter compressionimage generationoptimization landscape
发现论文，激发创造
  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 小波知识蒸馏：实现高效的图像到图像翻译

    本论文提出了一种基于离散小波变换的知识蒸馏方法，用于提高小型生成对抗网络在高频信息生成方面的性能，在保证性能无明显下降的情况下，可将模型体积缩小 7.08 倍、加速 6.80 倍，并研究了鉴别器和生成器之间的关系。

    Mar, 2022

  • TinyGAN：基于 BigGAN 的有条件图像生成蒸馏

    提出了一种基于黑盒知识蒸馏的 GAN 模型压缩方法，将 BigGAN 作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

    Sep, 2020

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • 内容感知 GAN 压缩

    该研究提出了用于无条件 GAN 压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 图像到图像翻译的语义关系保持知识蒸馏

    本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法，该方法在 5 个数据集和 3 个教师 - 学生模型对的实验中，证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。

    Apr, 2021

  • 极限学习图像压缩的生成对抗网络

    本研究基于生成对抗网络构建了一个图像压缩系统，其中包括编码器、解码器 / 生成器和多尺度鉴别器，并使用全生成式学习压缩目标。模型可合成存储受限的细节，实现在比之前方法失败且出现严重伪影的比特率下，较视觉上令人满意的结果。此外，如果有原始图像的语义标签映射可用，则本方法可以从标签映射中合成出解码后图像的不重要区域，例如街道和树，并相应地减少存储成本。一个用户研究证实，即使使用两倍以上的比特，低比特率下我们的方法都优于现有技术。

    Apr, 2018

  • AutoGAN-Distiller：搜索压缩生成对抗网络

    本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

    Jun, 2020

  • 少样本知识蒸馏用于高效网络压缩

    本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

    Dec, 2018