May, 2023
基于 Transformer 的自然语言处理模型微调鲁棒性研究
On Robustness of Finetuned Transformer-based NLP Models
Pavan Kalyan Reddy Neerudu, Subba Reddy Oota, Mounika Marreddy, Venkateswara Rao Kagita, Manish Gupta
TL;DR本文对三种基于 Transformer 的预训练语言模型(BERT、GPT-2 和 T5)进行了鲁棒性测试,并比较了它们在多种输入扰动下的性能表现。同时,使用 CKA 和 STIR 两个度量衡量了预训练模型与微调模型在各层上的表示变化。其中,GPT-2 表现出更好的鲁棒性。尽管这些模型都具有广泛的鲁棒性,但丢失名词、动词或改变字符是最具影响力的。这项研究为流行的基于 Transformer 的模型的扰动特异性弱点提供了宝贵的见解。