Oct, 2023
面向鲁棒剪枝:一种自适应知识保留剪枝策略
Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models
Jianwei Li, Qi Lei, Wei Cheng, Dongkuan Xu
TL;DR本文提出了一种基于事先训练的知识的后期剪枝策略,旨在在剪枝过程中保留更多事先训练的知识,从而提高语言模型的鲁棒性。与其他最先进的基准方法相比,在数据集 SST2、IMDB 和 AGNews 上,我们的方法在准确性、稀疏性、鲁棒性和剪枝成本之间展现出了卓越的平衡,这是对语言模型鲁棒剪枝的一大进步。