May, 2020

基于对抗知识蒸馏的无数据量化网络

TL;DR本文提出了一种无需数据的对抗知识蒸馏,通过合成数据来实现数据自由的网络量化,包括多个生成器和多个学生的多样化对抗样本,实现了(wide) residual networks和MobileNet在SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上最先进的数据自由模型压缩和量化效果。