本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

本书章节探讨了持续学习的动态，即从非固定数据流中增量学习的过程。尽管对于人脑来说是一种自然的技能，但对于人工神经网络来说却非常具有挑战性。这是因为当学习新知识时，这些网络往往会迅速而彻底地忘记之前所学的知识，这一现象被称为灾难性遗忘。特别是在过去十年中，持续学习已成为深度学习中被广泛研究的主题。本书章节回顾了该领域产生的见解。

Mar, 2024

大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

Aug, 2023

针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

Mar, 2022

本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

Feb, 2021

本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

Jul, 2020

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

本文研究了灾难性遗忘和任务序列属性之间的关系，尤其是给定任务序列，我们希望了解这个序列的哪些属性会影响在该序列上训练的永续学习算法的错误率。我们提出了一种新的程序，利用最近在任务空间建模和相关性分析方面的发展来指定和分析我们感兴趣的属性。作为一个应用，我们将我们的程序应用于研究任务序列的两个属性：“总复杂度” 和 “顺序异质性”。我们发现，对于一些最先进的算法，错误率与任务序列的总复杂度强烈且正相关；令人惊讶的是，在某些情况下，错误率与顺序异质性没有或甚至具有负相关性。我们的发现为改进永续学习基准和方法提供了方向。

Aug, 2019

在域自适应背景下，我们从模块和参数（神经元）的角度探究了神经机器翻译（NMT）模型的灾难性遗忘原因，发现一些模块与通用领域知识有紧密联系，而其他一些模块在域自适应中更为重要，一些参数对通用领域和领域内翻译都很重要，而在持续训练期间它们的大幅变化导致了通用领域性能下降。

Nov, 2020