本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

本文章提出了一种基于模式连通性的损失地貌的方法，可以在不保留旧样本的情况下，实现更好的可塑性-稳定性权衡，该方法通过将两个独立优化的最优值连接起来实现一个有意义的平衡，我们在几个基准数据集上进行了评估，结果表明我们的简单方法可以提高模型性能。

Oct, 2021

提出了一种基于熵的稳定性可塑性方法来解决神经网络中的稳定性-可塑性困境，该方法在自然语言和图像领域的实验表明其可以通过减少干扰来利用先前知识，并在某些情况下可以冻结层以加速训练。

Apr, 2022

本研究提出了一种名为MuFAN的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性-可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN在多个数据集上优于其他现有的连续学习方法。

Feb, 2023

通过引入辅助网络实现稳定性与可塑性平衡的新方法ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

Mar, 2023

本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过L2正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

Jun, 2023

在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

Sep, 2023

通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

Sep, 2023

连续学习算法中的稳定性和可塑性之间的权衡问题是本研究的核心挑战，本文引入了RDAC框架来解决这一问题，并研究了常用的正则化算法在稳定性和可塑性之间的权衡情况，在深层非线性网络和单隐藏层线性神经网络上进行了验证实验，结果表明该算法在保持稳定性的同时并没有明显损失可塑性，为现有的连续学习算法提供了有价值的见解，并为新的连续学习方法铺平了道路，在生物系统中对学习诱导的激活/表示变化与稳定性-可塑性困境的关系以及再现漂移问题也提供了新的视角。

Oct, 2023

提出了一种名为LRFR的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集CIFAR-100和TinyImageNet上持续优于最先进的方法。

Dec, 2023