ACLApr, 2022
预训练语言模型在少样本微调中的问题
Pathologies of Pre-trained Language Models in Few-shot Fine-tuning
Hanjie Chen, Guoqing Zheng, Ahmed Hassan Awadallah, Yangfeng Ji
TL;DR本文旨在解释提高小样本下的预训练语言模型的性能,发现未 fine-tune 的预训练模型表现出强烈的预测偏差,而 fine-tune 可以缓解预测偏差并展现出更好的性能,但研究还在探讨如何平衡预测行为和开发有利于小样本学习的模型评估方法。