Nov, 2020

通过可微分掩码和共同注意力蒸馏学习图像翻译的高效GAN

HTML
PDF
TL;DR本研究提出了一种新颖的GAN压缩方法DMAD，通过使用可微分的掩模和协同注意力熔炼来搜索轻量级发生器体系结构，同时从预训练模型的生成器和判别器中提取有用的注意力图，成功稳定轻量级模型的对抗训练，而在保持可比余白性能的前提下，DMAD能够将CycleGAN的MACs降低13倍，Pix2Pix的MACs降低4倍。
发现论文，激发创造
  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 非配对图像翻译的共同演化压缩

    本文针对图像翻译中具有复杂架构、参数数量众多、计算复杂度较高的生成器，提出了一种全新的协同进化方法，以减少其内存使用量及乘法操作次数，从而在图像翻译中实现紧凑高效的生成器设计。Experiments表明，该方法的有效性得到了充分的验证。

    Jul, 2019

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • GAN瘦身：通过统一的优化框架实现全能的GAN压缩

    该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

    Aug, 2020

  • 面向高保真度小样本图像合成的更快更稳定的GAN训练

    本文提出了一种轻量级的GAN结构，通过跳过层通道智能激发模块和自监督判别器训练作为特征编码器，实现少量样本进行高保真度图像的合成与生成。与StyleGAN2相比，本模型在数据和计算预算有限的情况下具有卓越的性能表现。

    Jan, 2021

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 内容感知 GAN 压缩

    该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 面向 GAN 压缩的在线多粒度蒸馏

    本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。

    Aug, 2021

  • 生成器 - 判别器合作压缩GAN中判别器的再审视

    本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。

    Oct, 2021

  • CoroNetGAN: 通过超网络控制GAN的剪枝

    提出了一种利用可微的修剪方法通过超网络压缩GAN的方法，实现可控压缩训练，并在多个基准数据集上取得了优异的性能。

    Mar, 2024