May, 2023

不要停止预训练?使基于提示的微调更加强大的学习者

TL;DR本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设,并提出了基于提示的持续预训练方法(PCP)。实验证明,相较于传统方法,PCP在21个基准测试中表现更好。