本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019

提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

Mar, 2020

本文介绍了使用生成式对抗网络和正交正则化训练的大规模条件图片生成方法，并提出了一种截断技巧来控制生成器输入方差，从而在生成高保真度和多样化样本方面实现平衡。该方法应用于 ImageNet 数据集上，在 128x128 分辨率下，IS（Inception Score）为 166.5，FID（Frechet Inception Distance）为 7.4，表现超过之前的方法。

Sep, 2018

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

Jan, 2024

本文提出了一种可以灵活调整生成器宽度以适应不同质量和效率平衡的 slimmable GANs，通过利用多个共享部分参数的判别器对生成器进行训练，并提出了一种逐步原位提纯技术以增加不同宽度之间的一致性，并通过切片条件化 BN 的方式将标签信息纳入不同的宽度中。

Dec, 2020

本文介绍了如何利用自监督学习和半监督学习等技术结合生成式对抗网络，实现在仅使用少量标签数据的情况下，超越当前最先进的深度生成模型，并在 ImageNet 的无监督合成和有条件的情况下，匹配 BigGAN 模型的样本质量。

Mar, 2019

这篇论文提出了一种基于输出一致性和潜在空间的语义关系的潜在方向的蒸馏方法，以解决 StyleGAN 的蒸馏问题，该方法在蒸馏 StyleGAN2 和 StyleGAN3 方面的效果显著优于现有的 GAN 蒸馏方法。

Aug, 2022

本研究基于生成对抗网络构建了一个图像压缩系统，其中包括编码器、解码器 / 生成器和多尺度鉴别器，并使用全生成式学习压缩目标。模型可合成存储受限的细节，实现在比之前方法失败且出现严重伪影的比特率下，较视觉上令人满意的结果。此外，如果有原始图像的语义标签映射可用，则本方法可以从标签映射中合成出解码后图像的不重要区域，例如街道和树，并相应地减少存储成本。一个用户研究证实，即使使用两倍以上的比特，低比特率下我们的方法都优于现有技术。

Apr, 2018

通过引入一种简单的方法，使真实数据分布经过一个‘透镜’传达给辨别器，让生成器逐步揭示出更多细节特征，改善了 GAN 训练的质量、稳定性和收敛速度，对各种 GAN 架构如 DCGAN、LSGAN、WGAN-GP 都可行。

Feb, 2018