通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。

Jan, 2024

本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

Apr, 2023

遗忘是一个在深度学习中广泛存在的现象，涉及到持续学习、生成模型、联邦学习等领域，在特定情况下遗忘可以具有积极的作用，如隐私保护场景。本综述旨在全面了解遗忘现象，探索不同领域对遗忘的理解，并通过借鉴各领域的思想和方法找到潜在的解决方案。将遗忘研究的边界扩展到更广泛的领域，希望在未来的工作中促进对遗忘的减轻、利用或甚至接纳的新策略的发展。

Jul, 2023

大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

Aug, 2023

本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

Jul, 2020

通过调查现有的方法及其在预训练模型上的表现，我们观察到 Generic Pre-training 方法隐含地减轻了多任务学习中遗忘现象的影响，因为预训练权重看起来通过导致更宽的极小值来缓解遗忘现象，基于这个发现，我们建议联合当前任务的损失和损失基底锐度的优化方法，以在顺序微调期间显式地鼓励更宽的基底，在多种设置中实现与最新技术的性能相当的顺序连续学习，而无需保留随任务数缩放的内存。

Dec, 2021

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

本研究针对 Continual Learning 目的，介绍基于记忆方法存储先前数据分布以避免完全知识覆盖，在传统分布泛化时表现良好，但在控制实验中发现能学习虚假特征和相关性，从而严重影响了越界泛化，主要是出现在线性分类器中。

Jun, 2023