Sep, 2019
针对大规模语言表示的重新加权近端剪枝
Reweighted Proximal Pruning for Large-Scale Language Representation
Fu-Ming Guo, Sijia Liu, Finlay S. Mungall, Xue Lin, Yanzhi Wang
TL;DR本文主要研究了如何压缩大规模的预训练语言模型,并提出 Reweighted Proximal Pruning (RPP) 剪枝方法,实验结果表明该方法不仅能保持预训练和微调任务的高准确性,而且还能使得该模型能够在不同设备上进行部署。