Oct, 2021

生成器 - 判别器合作压缩GAN中判别器的再审视

HTML
PDF
TL;DR本文提出了一种生成器-判别器攜手合作的 GAN 压缩方案，该方案名为 GCC。其中，一种选择性激活判别器自动根据本地容量约束和全局协调约束选择和激活卷积通道，有助于在对抗训练期间与轻量级发生器维持 Nash 平衡并避免模式折叠，从而实现了 80% 的计算成本降低，并在图像翻译任务中保持了可比性能。
发现论文，激发创造
  • 双判别器生成对抗网络

    本文提出了一种名为双判别器生成对抗网络（D2GAN）的生成对抗网络算法，该算法使用KL散度和反KL散度，避免了多峰性分布的崩塌问题，并在广泛的实验中证明了与最新GAN算法相比的竞争和卓越性能。

    Sep, 2017

  • 非配对图像翻译的共同演化压缩

    本文针对图像翻译中具有复杂架构、参数数量众多、计算复杂度较高的生成器，提出了一种全新的协同进化方法，以减少其内存使用量及乘法操作次数，从而在图像翻译中实现紧凑高效的生成器设计。Experiments表明，该方法的有效性得到了充分的验证。

    Jul, 2019

  • AutoGAN-Distiller：搜索压缩生成对抗网络

    本文提出了AutoGAN-Distiller (AGD)框架，通过将AutoML方法应用于GAN压缩中，实现了对各种GAN模型的自动压缩，采用knowledge distillation指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

    Jun, 2020

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术(权重修剪)不能应用于生成对抗网络(GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • GAN瘦身：通过统一的优化框架实现全能的GAN压缩

    该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

    Aug, 2020

  • 通过可微分掩码和共同注意力蒸馏学习图像翻译的高效GAN

    本研究提出了一种新颖的GAN压缩方法DMAD，通过使用可微分的掩模和协同注意力熔炼来搜索轻量级发生器体系结构，同时从预训练模型的生成器和判别器中提取有用的注意力图，成功稳定轻量级模型的对抗训练，而在保持可比余白性能的前提下，DMAD能够将CycleGAN的MACs降低13倍，Pix2Pix的MACs降低4倍。

    Nov, 2020

  • 面向高保真度小样本图像合成的更快更稳定的GAN训练

    本文提出了一种轻量级的GAN结构，通过跳过层通道智能激发模块和自监督判别器训练作为特征编码器，实现少量样本进行高保真度图像的合成与生成。与StyleGAN2相比，本模型在数据和计算预算有限的情况下具有卓越的性能表现。

    Jan, 2021

  • 内容感知 GAN 压缩

    该研究提出了用于无条件GAN压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 面向 GAN 压缩的在线多粒度蒸馏

    本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级GAN，从而实现在资源受限设备上进行实时图像转换，并显示OMGD在四个基准数据集上的实验结果。

    Aug, 2021

  • 利用其学习的流形上的局部密度结构压缩图像到图像翻译生成对抗网络

    GAN压缩方法从新的角度出发，通过在生成样本周围的局部邻域中保持原始模型的密度结构，提供了一种新的剪枝目标来规范剪枝模型，同时开发了一种协同剪枝方案，有效地在剪枝过程中保持生成器和判别器之间的平衡，从而展示出更稳定的剪枝动态。

    Dec, 2023