提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

Mar, 2021

该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

Oct, 2019

本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

Nov, 2023

提出了一种新的 TRGP 持续学习方法来解决 catastrophic forgetting 问题，使用 trust region 选择最相关的旧任务，通过 scaled weight projection 聪明地重用旧任务的冻结权重，实现了较高的知识转移效果。

Feb, 2022

参数高效梯度投影（PEGP）是第一个在不同调节范例中数学证明提供抗遗忘机制的统一方法，通过将正交梯度投影引入不同的 PET 范例中，从而有效抵制 PET 基础的连续学习中的遗忘现象。

May, 2024

本文探讨了在有限环境中增长任务数量的情景下，通过一种新的实验框架 SCoLe，借助随机梯度下降法，实现在长序列的任务中进行知识积累和保留，提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法，并通过合适的实验框架展示了新的可持续性学习学习机制。

Jul, 2022

探究权重损失面与稳定性的关系，并基于此提出 FS-DGPM 方法，使用软权重代表过去任务的重要性，通过降低权重损失面的失真度，提高模型对学习新技能的灵敏度和泛化能力。

Oct, 2021

本文提出 SketchOGD 作为解决连续任务中机器学习模型遗忘的内存高效算法，使用在线素描算法压缩模型梯度，并在理论和实验上进行了评估。

May, 2023

为了处理深度神经网络在连续学习环境下的灾难性遗忘问题，该研究提出了正交梯度下降算法。在神经切向核区间的理论框架下，证明了该算法鲁棒性较高，并推导出了用于连续学习的 SGD 和 OGD 的首个推广限制。最后，研究了 OGD 的局限性，并强调了神经切向核变化对于 OGD 连续学习问题的重要性。

Jun, 2020

通过应用随机投影子空间和多个独立的随机投影，重新绘制了随机子空间优化的方式，以提高大规模深度神经网络的优化效率。

Nov, 2020