Sep, 2020

TinyGAN：基于BigGAN的有条件图像生成蒸馏

HTML
PDF
TL;DR提出了一种基于黑盒知识蒸馏的GAN模型压缩方法，将BigGAN作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。
发现论文，激发创造
  • 大规模 GAN 训练的高保真自然图像合成

    本文介绍了使用生成式对抗网络和正交正则化训练的大规模条件图片生成方法，并提出了一种截断技巧来控制生成器输入方差，从而在生成高保真度和多样化样本方面实现平衡。该方法应用于ImageNet数据集上，在128x128分辨率下，IS（Inception Score）为166.5，FID（Frechet Inception Distance）为7.4，表现超过之前的方法。

    Sep, 2018

  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 内容感知 GAN 压缩

    该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 面向 GAN 压缩的在线多粒度蒸馏

    本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。

    Aug, 2021

  • 在精简StyleGAN时要注意差距

    这篇论文提出了一种基于输出一致性和潜在空间的语义关系的潜在方向的蒸馏方法，以解决StyleGAN的蒸馏问题，该方法在蒸馏StyleGAN2和StyleGAN3方面的效果显著优于现有的GAN蒸馏方法。

    Aug, 2022

  • CoroNetGAN: 通过超网络控制GAN的剪枝

    提出了一种利用可微的修剪方法通过超网络压缩GAN的方法，实现可控压缩训练，并在多个基准数据集上取得了优异的性能。

    Mar, 2024

  • 通过知识蒸馏提升 GAN 效率的双方法策略：削减成本

    本文提出了两种新方法：DiME和NICKEL，用于在资源受限环境中压缩生成对抗网络（GANs），这些方法能够有效地减少GANs的计算需求，并在压缩率极高的情况下仍保持生成质量。

    May, 2024

  • ParaGAN：一个可扩展的分布式生成对抗网络训练框架

    本研究解决了生成对抗网络（GAN）在训练过程中面临的效率低下和数值不稳定性的问题。我们提出的ParaGAN框架通过异步训练和不对称优化策略加快GAN的训练速度，显著降低了BigGAN的训练时间，从15天缩短至14小时，并实现了91%的扩展效率，同时能够生成前所未有的高分辨率图像。

    Nov, 2024