Sep, 2023

UGC: 统一生成对抗网络压缩用于高效图像转换

PDF
TL;DR近年来，生成对抗网络在图像到图像翻译中取得了显著进展，然而，这些 GAN 模型的成功依赖于繁重的计算成本和劳动密集型的训练数据。为了兼顾模型效率和标签效率的优点，我们提出了一种新的学习范式，统一生成对抗网络压缩，通过在网络架构搜索和自适应在线半监督蒸馏阶段之间建立半监督驱动的异构互学习方案，来获得一种灵活的、标签高效的和性能优越的模型。
generative adversarial networksimage-to-image translationmodel slimmingdata/label-efficient learningunified gan compression
发现论文，激发创造
  • GAN 瘦身：通过统一的优化框架实现全能的 GAN 压缩

    该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

    Aug, 2020

  • 非配对图像翻译的共同演化压缩

    本文针对图像翻译中具有复杂架构、参数数量众多、计算复杂度较高的生成器，提出了一种全新的协同进化方法，以减少其内存使用量及乘法操作次数，从而在图像翻译中实现紧凑高效的生成器设计。Experiments 表明，该方法的有效性得到了充分的验证。

    Jul, 2019

  • 统一生成和压缩：多阶段变形器在超低比特率图像编码中的应用

    本文介绍了一种新的统一图像生成 - 压缩（UIGC）范式，该范式将生成和压缩过程合并在一起，通过采用矢量量化图像模型和多阶段 Transformer 来利用空间上下文信息建模先验分布，从而在实现熵估计和丢失令牌再生成方面成功使用学习到的先验，实验结果表明该 UIGC 框架在感知质量和人类感知方面优于现有编解码器，在极低比特率场景下（<=0.03 bpp）开创了生成式压缩的新方向。

    Mar, 2024

  • 极限学习图像压缩的生成对抗网络

    本研究基于生成对抗网络构建了一个图像压缩系统，其中包括编码器、解码器 / 生成器和多尺度鉴别器，并使用全生成式学习压缩目标。模型可合成存储受限的细节，实现在比之前方法失败且出现严重伪影的比特率下，较视觉上令人满意的结果。此外，如果有原始图像的语义标签映射可用，则本方法可以从标签映射中合成出解码后图像的不重要区域，例如街道和树，并相应地减少存储成本。一个用户研究证实，即使使用两倍以上的比特，低比特率下我们的方法都优于现有技术。

    Apr, 2018

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • AutoGAN-Distiller：搜索压缩生成对抗网络

    本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

    Jun, 2020

  • 内容感知 GAN 压缩

    该研究提出了用于无条件 GAN 压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 基于生成对抗网络的无监督深度图像增强技术

    本文提出了一种基于 GAN 的无监督图像增强模型 (UEGAN)，利用调制机制和质量损失函数增强图像的视觉质量，消除专业照片编辑造成的风格化问题。我们的质量和定量实验验证了我们的模型的有效性。

    Dec, 2020

  • DualGAN：无监督的双重学习用于图像到图像的翻译

    通过双重学习机制，该论文提出了一种新的双重生成对抗网络模型 ——DualGAN，可在缺乏标签数据的情况下，实现多种图像翻译任务，并取得了可观的性能提升。

    Apr, 2017

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021