ACLMay, 2023
预训练语言模型对于领域外探测几乎完美是否需要微调?
Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection
Rheeya Uppaal, Junjie Hu, Yixuan Li
TL;DR本研究探究了直接利用预训练语言模型进行 Out-of-Distribution 检测的有效性,并证明了其近乎完美的检测性能,同时揭示了 Fine-tuning 和其在 ID 精度与 OOD 检测性能之间的平衡作用。