面向 GAN 压缩的在线多粒度蒸馏
本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。
Feb, 2019
本文提出了AutoGAN-Distiller (AGD)框架，通过将AutoML方法应用于GAN压缩中，实现了对各种GAN模型的自动压缩，采用knowledge distillation指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。
Jun, 2020
该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。
Aug, 2020
提出了一种基于黑盒知识蒸馏的GAN模型压缩方法，将BigGAN作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。
Sep, 2020
本研究提出了一种新颖的GAN压缩方法DMAD，通过使用可微分的掩模和协同注意力熔炼来搜索轻量级发生器体系结构，同时从预训练模型的生成器和判别器中提取有用的注意力图，成功稳定轻量级模型的对抗训练，而在保持可比余白性能的前提下，DMAD能够将CycleGAN的MACs降低13倍，Pix2Pix的MACs降低4倍。
Nov, 2020
通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。
Mar, 2021
该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。
Apr, 2021
本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。
Oct, 2021
本文提出了两种新方法：DiME和NICKEL，用于在资源受限环境中压缩生成对抗网络（GANs），这些方法能够有效地减少GANs的计算需求，并在压缩率极高的情况下仍保持生成质量。
May, 2024