May, 2023
记忆力强还是弱?深入探究语言模型记忆机制
Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models
Boxi Cao, Qiaoyu Tang, Hongyu Lin, Xianpei Han, Jiawei Chen...
TL;DR对预训练语言模型进行了多种实验,发现预训练模型有助于保持记忆,而非预训练的神经网络具有遗忘的问题,并且知识相关性和多样性会显着影响记忆形成。这些结论有助于了解预训练模型的能力,同时也为语言模型的新学习和推断算法的设计和评估提供了启示。