本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019

本文提出了AutoGAN-Distiller (AGD)框架，通过将AutoML方法应用于GAN压缩中，实现了对各种GAN模型的自动压缩，采用knowledge distillation指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

Jun, 2020

该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

Aug, 2020

提出了一种基于黑盒知识蒸馏的GAN模型压缩方法，将BigGAN作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

Sep, 2020

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

Apr, 2021

本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。

Aug, 2021

本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。

Oct, 2021

本文探索了直接从头开始训练稀疏 GAN 的可能性，实现了不需要密集或预训练步骤的直接训练稀疏不平衡 GAN。通过稀疏到稀疏的训练过程，可以在固定的小参数预算上增强高度稀疏发生器的容量，从而获得吸引人的训练和推理效率增益。实验证明，与昂贵的迭代剪枝和重新训练相比，我们从头开始训练的这种方法可以实现更好的性能，而不需要从昂贵的预训练 GAN 中继承参数。

Mar, 2022

这篇论文提出了一种基于输出一致性和潜在空间的语义关系的潜在方向的蒸馏方法，以解决StyleGAN的蒸馏问题，该方法在蒸馏StyleGAN2和StyleGAN3方面的效果显著优于现有的GAN蒸馏方法。

Aug, 2022