EMNLPOct, 2022
ROSE:针对预训练语言模型的强韧性选择性微调
ROSE: Robust Selective Fine-tuning for Pre-trained Language Models
Lan Jiang, Hao Zhou, Yankai Lin, Peng Li, Jie Zhou...
TL;DR本文提出了一种称为 ROSE 的新颖的微调方法,该方法通过选择性更新参数,过滤无价值和非鲁棒性更新的参数,在下游自然语言处理任务中实现对抗鲁棒性的显着提高,并可以轻松地融入现有的微调方法中进一步提高其对抗鲁棒性。