Jun, 2020

AutoGAN-Distiller：搜索压缩生成对抗网络

HTML
PDF
TL;DR本文提出了AutoGAN-Distiller (AGD)框架，通过将AutoML方法应用于GAN压缩中，实现了对各种GAN模型的自动压缩，采用knowledge distillation指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。
发现论文，激发创造
  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • AGAN: 自动设计生成对抗网络

    本文提出了第一个专为GAN训练而设计的神经架构搜索算法AGAN。通过AGAN在CIFAR-10数据集上的实验证明，该算法可以自动搜索到优于同一正则化技术下现有最先进模型的神经网络结构。在$32 imes32$的分辨率下，该算法自动搜索的网络结构的表现也能够胜任监督学习任务，并且在其它图像生成任务中可进行迁移学习。

    Jun, 2019

  • AutoGAN: 生成对抗网络的神经结构搜索

    本文介绍了一项有关 AutoGAN 的初步研究，这是将神经架构搜索算法引入生成对抗网络中的首个尝试。通过使用 RNN 控制器来引导搜索生成器构架的变化，实验结果验证了 AutoGAN 在无条件图像生成任务中的有效性，并与当前最先进的手工制作的 GANs 相比，取得了高竞争性的表现。

    Aug, 2019

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术(权重修剪)不能应用于生成对抗网络(GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • GAN瘦身：通过统一的优化框架实现全能的GAN压缩

    该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

    Aug, 2020

  • TinyGAN：基于BigGAN的有条件图像生成蒸馏

    提出了一种基于黑盒知识蒸馏的GAN模型压缩方法，将BigGAN作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

    Sep, 2020

  • 内容感知 GAN 压缩

    该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 面向 GAN 压缩的在线多粒度蒸馏

    本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。

    Aug, 2021

  • 生成器 - 判别器合作压缩GAN中判别器的再审视

    本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。

    Oct, 2021

  • 通过知识蒸馏提升 GAN 效率的双方法策略：削减成本

    本文提出了两种新方法：DiME和NICKEL，用于在资源受限环境中压缩生成对抗网络（GANs），这些方法能够有效地减少GANs的计算需求，并在压缩率极高的情况下仍保持生成质量。

    May, 2024