通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理 “灾难性遗忘” 问题。

Sep, 2022

提出一种神经动力学机制 (conceptors)，它将非线性动力学与基本的概念抽象和逻辑原则相结合，可以在一个神经系统中学习、存储、抽象、聚焦、变形、概括、去噪和识别大量的动力学模式。

Mar, 2014

本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

Jan, 2018

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

连续学习中的灾难性干扰和远程干扰分析，提出一种能近似任何连续函数、具有多项式计算复杂度、并且对远程干扰提供保证的新型人工神经网络结构 ABAL-Spline。通过实验证明 ABAL-Spline 在理论上具有的性质，并在基准回归问题上进行评估，得出使用多项式复杂度模型进行连续学习需要对训练数据或算法进行增强的推测。

Feb, 2024

我们通过引入概念瓶颈模型（CBMs）和合作 - 概念瓶颈模型（coop-CBM）以及概念正交损失（COL），在各种分布转移设置下的实验中，提出了一种提高神经网络透明度和性能的方法。

Nov, 2023

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。

Feb, 2018

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017