Jan, 2024

对齐的大型语言模型连续预训练中的遗忘现象研究

TL;DR连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。