Mar, 2022

稀疏对稀疏:保证性能的稀疏 GAN 训练

TL;DR本文探索了直接从头开始训练稀疏 GAN 的可能性,实现了不需要密集或预训练步骤的直接训练稀疏不平衡 GAN。通过稀疏到稀疏的训练过程,可以在固定的小参数预算上增强高度稀疏发生器的容量,从而获得吸引人的训练和推理效率增益。实验证明,与昂贵的迭代剪枝和重新训练相比,我们从头开始训练的这种方法可以实现更好的性能,而不需要从昂贵的预训练 GAN 中继承参数。