提出了一种新的 TRGP 持续学习方法来解决 catastrophic forgetting 问题，使用 trust region 选择最相关的旧任务，通过 scaled weight projection 聪明地重用旧任务的冻结权重，实现了较高的知识转移效果。

Feb, 2022

本研究提出了一种基于 Scaled Gradient Projection 方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

Mar, 2021

Continual Parameter-Efficient Tuning (ConPET), a generalizable paradigm for continual task adaptation of large language models (LLMs) with task-number-independent training complexity, reduces tuning costs and alleviates over-fitting and forgetting issue through static and dynamic ConPET versions.

Sep, 2023

本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

Nov, 2023

该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

Oct, 2019

通过使用贝叶斯学习技术和 Laplace 逼近，我们展示了在更通用的参数高效微调（PEFT）框架中如何解决灾难性遗忘问题，并比较了使用对角和克罗内克逼近的方法在预训练知识保留上的性能差异。

Feb, 2024

深度表示学习方法在持续学习中面临着有用单元的灾难性遗忘和可塑性损失的困扰。本文介绍了基于效用的扰动梯度下降（UPGD）作为一种新的表示持续学习方法，通过梯度更新和扰动相结合的方式，在保护有用单元免受遗忘的同时，对不太有用的单元施加更大的修改来恢复其可塑性。在具有数百个非静态性和未知任务边界的连续学习问题中，我们证明了现有的许多方法都存在至少一种问题，主要表现为在任务上的准确性下降。相反，UPGD 在所有问题上继续提高性能，并超越或与所有方法竞争。最后，通过使用 PPO 进行扩展的强化学习实验，我们证明了在初始学习后 Adam 表现出的性能下降，而 UPGD 通过解决连续学习的两个问题来避免这种下降。

Mar, 2024

该文提出了一种基于效用的扰动梯度下降算法（UPGD），可缓解灾难性遗忘和退化的可塑性问题，使现代表示学习方法适用于不断学习的环境。

Feb, 2023

通过注入少量参数重参数化预训练权重，InfLoRA 方法设计了一个子空间来消除新任务对旧任务的干扰，实现了稳定性和可塑性之间的良好权衡，从而在多个数据集上胜过现有最先进的持续学习方法。

Mar, 2024