Mar, 2023
半参数语言模型是可扩展的持续学习者
Semiparametric Language Models Are Scalable Continual Learners
Guangyue Peng, Tao Ge, Si-Qing Chen, Furu Wei, Houfeng Wang
TL;DR本文提出了一种名为 Selective Memorization 的方法来提高半参数语言模型在不断学习流数据时的可伸缩性,该方法只记忆模型难以处理的样本。实验表明,Selective Memorization 能够实现半参数语言模型的可扩展、持续学习,并减少遗忘。