在域自适应背景下，我们从模块和参数（神经元）的角度探究了神经机器翻译（NMT）模型的灾难性遗忘原因，发现一些模块与通用领域知识有紧密联系，而其他一些模块在域自适应中更为重要，一些参数对通用领域和领域内翻译都很重要，而在持续训练期间它们的大幅变化导致了通用领域性能下降。

Nov, 2020

本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

Feb, 2021

大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

Aug, 2023

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

本书章节探讨了持续学习的动态，即从非固定数据流中增量学习的过程。尽管对于人脑来说是一种自然的技能，但对于人工神经网络来说却非常具有挑战性。这是因为当学习新知识时，这些网络往往会迅速而彻底地忘记之前所学的知识，这一现象被称为灾难性遗忘。特别是在过去十年中，持续学习已成为深度学习中被广泛研究的主题。本书章节回顾了该领域产生的见解。

Mar, 2024

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

本文研究在序列数据上的持续学习问题，重点讨论了 LSTM 网络的遗忘和多任务学习问题，并提出了两种有效的解决方案，证明了这种方法比现有的权重正则化方法更为简单、高效，可应用于计算机系统优化和自然语言处理等领域。

May, 2023

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。

Nov, 2023