本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

Jun, 2020

本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级 GAN，从而实现在资源受限设备上进行实时图像转换，并显示 OMGD 在四个基准数据集上的实验结果。

Aug, 2021

该研究提出了用于无条件 GAN 压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

Apr, 2021

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019

近年来，神经网络驱动的图像压缩（NIC）方法备受关注。本文提出了一种可变比率的生成式 NIC 模型，通过多种鉴别器设计和引入新的对抗损失，结合新提出的多真实感技术，用户能够通过单一模型灵活地调整比特率、失真和真实感，实现了极高的可控性并覆盖宽范围的比特率。与已有可变比率生成式 NIC 模型不同的是，本方法在只使用一个模型的情况下，达到或超过最先进的单比率生成式 NIC 模型的性能。

May, 2024

提出了一种基于黑盒知识蒸馏的 GAN 模型压缩方法，将 BigGAN 作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

Sep, 2020

本文研究了如何将生成敌对网络与学习压缩相结合，得到一种最先进的生成有损压缩系统，并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是，我们实现了在广泛的比特率范围内视觉上令人满意的重建，并且，我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法，研究表明，即使使用超过 2 倍的比特率，我们的方法也优于以前的方法。

Jun, 2020

本研究基于生成对抗网络构建了一个图像压缩系统，其中包括编码器、解码器 / 生成器和多尺度鉴别器，并使用全生成式学习压缩目标。模型可合成存储受限的细节，实现在比之前方法失败且出现严重伪影的比特率下，较视觉上令人满意的结果。此外，如果有原始图像的语义标签映射可用，则本方法可以从标签映射中合成出解码后图像的不重要区域，例如街道和树，并相应地减少存储成本。一个用户研究证实，即使使用两倍以上的比特，低比特率下我们的方法都优于现有技术。

Apr, 2018

提出了一种无需训练集的知识蒸馏方法，仅利用预训练模型释放的一些额外元数据，就能将大规模数据集上训练的深度神经网络压缩到其大小的一小部分，并探索了可用于该方法的不同类型的元数据以及使用它们所涉及的权衡。

Oct, 2017