利用其学习的流形上的局部密度结构压缩图像到图像翻译生成对抗网络

AAAIDec, 2023

利用其学习的流形上的局部密度结构压缩图像到图像翻译生成对抗网络

Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold

Alireza Ganjdanesh, Shangqian Gao, Hirad Alipanah, Heng Huang

TL;DRGAN 压缩方法从新的角度出发，通过在生成样本周围的局部邻域中保持原始模型的密度结构，提供了一种新的剪枝目标来规范剪枝模型，同时开发了一种协同剪枝方案，有效地在剪枝过程中保持生成器和判别器之间的平衡，从而展示出更稳定的剪枝动态。

Abstract

generative adversarial networks (gans) have shown remarkable success in modeling complex data distributions for image-to-image translation. Still, their high computational demands prohibit their deployment in pra

generative adversarial networks gans compression local density structure pruning

发现论文，激发创造

自监督 GAN 压缩

通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

Jul, 2020

CoroNetGAN: 通过超网络控制 GAN 的剪枝

提出了一种利用可微的修剪方法通过超网络压缩 GAN 的方法，实现可控压缩训练，并在多个基准数据集上取得了优异的性能。

Mar, 2024

内容感知 GAN 压缩

该研究提出了用于无条件 GAN 压缩的一种新方法。该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

Apr, 2021

流形学习对 GAN 的优势

本文在生成对抗网络中引入流形学习方法来打磨辨别器，考虑局部约束线性和基于子空间的流形以及局部约束的非线性流形，利用流形学习和编码的设计将中间特征表示映射到流形上，并通过协调特征表示和流形视图之间的差异性，实现去噪和流形精细化的两难平衡，并在实验中发现局部约束的非线性流形优于线性流形，性能也明显优于现有的基线算法。

Dec, 2021

生成对抗网络的断开流形学习

本文研究了 GAN 模型难以正确模拟支持在不连通流形上的分布的问题，并提出了使用多个生成器来解决这个问题的方法，并提出了一种新的方法来学习先验分布，并在不需要人工干预的情况下推断所需的生成器数量，以使模型可以学习支持在不连通流形上的分布。本文的贡献包括证明单一生成器 GAN 模型难以正确模拟支持在不连通流形上的分布以及提出了解决这个问题的方法，并通过实验来验证所提出的方法的有效性。

Jun, 2018

知识蒸馏压缩生成对抗网络

本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019

教师不仅仅教授：压缩图像到图像模型

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

AutoGAN-Distiller：搜索压缩生成对抗网络

本文提出了 AutoGAN-Distiller (AGD) 框架，通过将 AutoML 方法应用于 GAN 压缩中，实现了对各种 GAN 模型的自动压缩，采用 knowledge distillation 指导压缩，且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。

Jun, 2020

混合密度生成对抗网络

本文提出了一种新型 GAN 变体 Mixutre Density GAN，通过在判别器嵌入空间中形成聚类来打破生成器的模式崩塌问题，从而发现不同的数据模式，并在生成高质量图像方面表现出色。

Oct, 2018

全局与本地化生成对抗网络

本文提出了一个新颖的局部生成对抗网络（Localized GAN），使用局部坐标系向量化真实数据的不同局部几何变换。在正交先验的作用下避免了流形局部坍塌到低维切向子空间，降低了模式崩溃的风险。用提出的 LGAN 训练分类器不仅能获得更优结果，而且分类结果是在流形中的局部连续性解释，与拉普拉斯 - 贝尔特拉米算子密切相关。

Nov, 2017