本文研究了灾难性遗忘和任务序列属性之间的关系，尤其是给定任务序列，我们希望了解这个序列的哪些属性会影响在该序列上训练的永续学习算法的错误率。我们提出了一种新的程序，利用最近在任务空间建模和相关性分析方面的发展来指定和分析我们感兴趣的属性。作为一个应用，我们将我们的程序应用于研究任务序列的两个属性：“总复杂度”和“顺序异质性”。我们发现，对于一些最先进的算法，错误率与任务序列的总复杂度强烈且正相关；令人惊讶的是，在某些情况下，错误率与顺序异质性没有或甚至具有负相关性。我们的发现为改进永续学习基准和方法提供了方向。

Aug, 2019

通过研究不同的训练规则，如dropout、学习率衰减和batch size等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

Jun, 2020

本研究利用师生学习理论框架分析了连续学习训练中避免“灾难性遗忘”的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免“灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

通过对最优线性分类器表现的差异考虑“表示忘却”的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

Jan, 2023

本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的$k$-FPF两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF方法在几个增量CL基准测试中均能显著提高方法效果，$k$-FPF进一步提高了效率而不降低准确性。

Apr, 2023

本文提出了一个新的永续学习框架“理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了ICL统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将ICL与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

Apr, 2023

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

通过随机梯度下降（SGD）在线性回归模型中提供了一般性的理论分析，揭示了任务序列与算法参数之间错综复杂的关系，探讨了连续学习中的灾难性遗忘和算法参数选取对任务学习顺序的影响，通过模拟实验验证了理论分析的结果。

May, 2024

连续学习（CL）是指动物在学习新任务时不会抹去之前的知识。对于人工神经网络中的CL来说，灾难性遗忘是一个挑战，即新学习会对旧任务的表现产生负面影响。本研究提出了一种深度、宽度神经网络中CL的统计力学理论，并通过数值评估验证了如何捕捉任务关系和网络体系结构对遗忘和知识转移的影响。研究发现，任务间的输入和规则相似性对CL的性能有不同的影响。此外，理论预测增加网络深度可以有效降低任务之间的重叠，从而减少遗忘。对于具有任务特定输出的网络，该理论确定了一个相变点，当任务之间的相似性降低时，CL的性能会发生显著变化。低相似性会导致灾难性前行干扰，即网络可以完美地保留旧任务，但无法推广新学习。我们的研究结果揭示了影响CL性能的重要因素，并提出了避免遗忘的策略。

Jul, 2024