生成对抗网络压缩的可移植图像翻译模型
本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法,使得在固定参数预算内,压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限,并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练,这表明使用我们的方法可以获得高质量的生成模型与较少的参数。
Feb, 2019
提出基于生成对抗网络(GANs)的深度神经网络的无数据训练方法,将预训练的教师网络视为固定的鉴别器,利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning(DAFL)方法学习,使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22% 和 74.47% 的精度,并在 CelebA 基准测试上获得了 80.56% 的精度。
Apr, 2019
本文针对图像翻译中具有复杂架构、参数数量众多、计算复杂度较高的生成器,提出了一种全新的协同进化方法,以减少其内存使用量及乘法操作次数,从而在图像翻译中实现紧凑高效的生成器设计。Experiments表明,该方法的有效性得到了充分的验证。
Jul, 2019
本文文献是关于生成对抗网络(GAN)框架及其在视觉合成领域的应用和算法进行概述,包括图像翻译、处理、合成高分辨率照片等,并讨论其在内容创作中的应用。
Aug, 2020
提出了一种基于黑盒知识蒸馏的GAN模型压缩方法,将BigGAN作为教师网络,用较少的参数训练学生网络以模拟其功能,有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。
Sep, 2020
综述文章介绍了生成对抗网络(GANs)在图像合成领域的各种应用,包括图像到图像的转换、融合图像生成、标签到图像映射和文本到图像生成,并总结了基于模型、特定于架构、约束、损失函数、评估度量和培训数据集开发思路等各种领域进展和具体实现,并提出了未来发展的潜在方向。
Dec, 2020
通过引入教师网络,在搜索空间中查找高效的网络架构并进行知识蒸馏,该方法可以在更小的计算成本下实现类似于原始模型的图像质量,从而可能解决生成对抗网络的计算成本高的问题。
Mar, 2021
本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法,该方法在5个数据集和3个教师-学生模型对的实验中,证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。
Apr, 2021
本论文提出了一种基于离散小波变换的知识蒸馏方法,用于提高小型生成对抗网络在高频信息生成方面的性能,在保证性能无明显下降的情况下,可将模型体积缩小7.08倍、加速6.80倍,并研究了鉴别器和生成器之间的关系。
Mar, 2022