本篇研究提出了一种名为CLNP的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP能够显著提高结果。

Mar, 2019

本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于MNIST、CIFAR100和Visual Domain Decathlon数据集上的所有基线。

Mar, 2019

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

本论文研究神经网络在连续学习中的稳定性与遗忘问题，并提出一个基于隐含门控机制的dropout算法，它在不同任务之间使不同的神经网络路径被激活，从而在连续学习中实现知识保留和性能提升。

Apr, 2020

通过研究不同的训练规则，如dropout、学习率衰减和batch size等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

Jun, 2020

本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性，并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos 在多组数据集上的表现均好，并且所学习的特征表现出模块化和专业化的特点，同时具有重用性。

Jan, 2023

本研究提出了一种基于Scaled Gradient Projection方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

Oct, 2023

连续学习中，我们提出应该同时关注优化目标和优化方式，结合重放逼近联合目标和梯度投影优化方法，以减轻稳定性差距、增加学习效率和改善最终学习结果。

Nov, 2023

本研究针对持续学习中的灾难性遗忘问题，提出了一种名为ReCL的新框架，旨在减缓遗忘现象。该框架利用梯度基础神经网络的隐含偏差，重建旧数据并与当前训练数据结合，从而提高模型的性能。实验表明，ReCL在多种持续学习场景和不同数据集上显著提升了性能，是首个通过利用模型自我作为记忆缓冲区来解决灾难性遗忘问题的方法。

Nov, 2024