退化作为一个隐式门控机制的连续学习
探究现代神经网络机器学习模型在不同任务训练后的“灾难性遗忘”问题，发现以dropout算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。
Dec, 2013
通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定ANN的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使ANN在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于ANN设计和能力的例子。
Feb, 2018
本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于MNIST、CIFAR100和Visual Domain Decathlon数据集上的所有基线。
Mar, 2019
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
通过研究不同的训练规则，如dropout、学习率衰减和batch size等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。
Jun, 2020
本研究利用师生学习理论框架分析了连续学习训练中避免“灾难性遗忘”的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免“灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。
May, 2021
这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。
Oct, 2021
本文提出了两种生物启发机制，基于稀疏性和异构dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。
Mar, 2022
本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的$k$-FPF两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF方法在几个增量CL基准测试中均能显著提高方法效果，$k$-FPF进一步提高了效率而不降低准确性。
Apr, 2023