内容感知 GAN 压缩
该研究提出了一个名为 GAN Slimming 的统一优化框架,将多种压缩方法与 GAN 最小二乘目标组合在一起,相比现有选项在压缩图像转换 GAN 方面表现优异,其中包括模型蒸馏,通道修剪和量化等几种主流压缩技术。
Aug, 2020
本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法,使得在固定参数预算内,压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限,并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练,这表明使用我们的方法可以获得高质量的生成模型与较少的参数。
Feb, 2019
通过自我监督压缩技术,我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs),并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型,并且实现了在不同压缩粒度下的有意义比较。
Jul, 2020
本文提出了 AutoGAN-Distiller (AGD) 框架,通过将 AutoML 方法应用于 GAN 压缩中,实现了对各种 GAN 模型的自动压缩,采用 knowledge distillation 指导压缩,且在压缩后的图像翻译和超分辨率任务中表现出更轻量级但更具竞争力的效果。
Jun, 2020
我们提出了一种新颖的通道修剪方法,通过评估通道对潜在向量扰动的敏感性,增强了压缩模型中样本的多样性。我们的方法显著提升了各种数据集中样本的多样性,并且在 FID 得分方面,不仅大幅超过了最先进的方法,还在只有一半训练迭代次数的情况下达到了可比较的得分。
Mar, 2024
本研究基于生成对抗网络构建了一个图像压缩系统,其中包括编码器、解码器 / 生成器和多尺度鉴别器,并使用全生成式学习压缩目标。模型可合成存储受限的细节,实现在比之前方法失败且出现严重伪影的比特率下,较视觉上令人满意的结果。此外,如果有原始图像的语义标签映射可用,则本方法可以从标签映射中合成出解码后图像的不重要区域,例如街道和树,并相应地减少存储成本。一个用户研究证实,即使使用两倍以上的比特,低比特率下我们的方法都优于现有技术。
Apr, 2018
GAN 压缩方法从新的角度出发,通过在生成样本周围的局部邻域中保持原始模型的密度结构,提供了一种新的剪枝目标来规范剪枝模型,同时开发了一种协同剪枝方案,有效地在剪枝过程中保持生成器和判别器之间的平衡,从而展示出更稳定的剪枝动态。
Dec, 2023
近年来,生成对抗网络在图像到图像翻译中取得了显著进展,然而,这些 GAN 模型的成功依赖于繁重的计算成本和劳动密集型的训练数据。为了兼顾模型效率和标签效率的优点,我们提出了一种新的学习范式,统一生成对抗网络压缩,通过在网络架构搜索和自适应在线半监督蒸馏阶段之间建立半监督驱动的异构互学习方案,来获得一种灵活的、标签高效的和性能优越的模型。
Sep, 2023
通过引入教师网络,在搜索空间中查找高效的网络架构并进行知识蒸馏,该方法可以在更小的计算成本下实现类似于原始模型的图像质量,从而可能解决生成对抗网络的计算成本高的问题。
Mar, 2021