在域自适应背景下，我们从模块和参数（神经元）的角度探究了神经机器翻译（NMT）模型的灾难性遗忘原因，发现一些模块与通用领域知识有紧密联系，而其他一些模块在域自适应中更为重要，一些参数对通用领域和领域内翻译都很重要，而在持续训练期间它们的大幅变化导致了通用领域性能下降。

Nov, 2020

研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Jul, 2016

大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

Aug, 2023

该论文介绍了多模态大型语言模型（MLLMs）中灾难性遗忘现象的全面分析，并引入了一种名为 Model Tailor 的后训练调整方法。该方法主要保留了预训练参数，同时替换了少量（≤ 10%）的微调参数，相比于预训练，在原始任务上保持了约 99% 的有效性，并在新任务上相比标准微调获得了约 97% 的有效性。此外，该方法适用于多任务场景，并通过在 InstructBLIP 和 LLaVA-1.5 上进行广泛实验证明了显著的任务适应能力，同时保持了内在的预训练能力。

Feb, 2024

本文提出了一种针对深度神经网络在扩展新领域时遗忘已学习信息问题的半遗忘学习方法，该方法不仅适应新的领域，同时也适用于已学习的领域；在图像分类任务上通过实验证明了本方法的有效性。

Nov, 2017

针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

Mar, 2022

本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

本研究旨在开发一种方法来解决深度学习模型在医疗领域中出现的模型脆弱性问题，该方法在训练后对原有医疗机构的模型性能进行更新，以适应其他医疗机构的数据，同时，在模型性能下降时进行 batch normalization，从而提高模型性能并保护患者隐私。

Mar, 2021

本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题，提出了几种技术，如限制培训策略和规范化适配器模块，应用于 Google Speech Commands 和英国爱尔兰英语口音数据集，并在新的目标域上取得了良好的结果并限制了原始领域上的恶化。

Oct, 2022

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017