Feb, 2019

知识蒸馏压缩生成对抗网络

TL;DR本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法,使得在固定参数预算内,压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限,并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练,这表明使用我们的方法可以获得高质量的生成模型与较少的参数。