GAN瘦身：通过统一的优化框架实现全能的GAN压缩
本研究基于生成对抗网络构建了一个图像压缩系统，其中包括编码器、解码器/生成器和多尺度鉴别器，并使用全生成式学习压缩目标。模型可合成存储受限的细节，实现在比之前方法失败且出现严重伪影的比特率下，较视觉上令人满意的结果。此外，如果有原始图像的语义标签映射可用，则本方法可以从标签映射中合成出解码后图像的不重要区域，例如街道和树，并相应地减少存储成本。一个用户研究证实，即使使用两倍以上的比特，低比特率下我们的方法都优于现有技术。
Apr, 2018
本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。
Feb, 2019
通过自我监督压缩技术，我们展示标准的模型压缩技术(权重修剪)不能应用于生成对抗网络(GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。
Jul, 2020
该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。
Apr, 2021
本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。
Aug, 2021
本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。
Oct, 2021
本文探索了直接从头开始训练稀疏 GAN 的可能性，实现了不需要密集或预训练步骤的直接训练稀疏不平衡 GAN。通过稀疏到稀疏的训练过程，可以在固定的小参数预算上增强高度稀疏发生器的容量，从而获得吸引人的训练和推理效率增益。实验证明，与昂贵的迭代剪枝和重新训练相比，我们从头开始训练的这种方法可以实现更好的性能，而不需要从昂贵的预训练 GAN 中继承参数。
Mar, 2022
近年来，生成对抗网络在图像到图像翻译中取得了显著进展，然而，这些GAN模型的成功依赖于繁重的计算成本和劳动密集型的训练数据。为了兼顾模型效率和标签效率的优点，我们提出了一种新的学习范式，统一生成对抗网络压缩，通过在网络架构搜索和自适应在线半监督蒸馏阶段之间建立半监督驱动的异构互学习方案，来获得一种灵活的、标签高效的和性能优越的模型。
Sep, 2023
GAN压缩方法从新的角度出发，通过在生成样本周围的局部邻域中保持原始模型的密度结构，提供了一种新的剪枝目标来规范剪枝模型，同时开发了一种协同剪枝方案，有效地在剪枝过程中保持生成器和判别器之间的平衡，从而展示出更稳定的剪枝动态。
Dec, 2023