本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

Nov, 2023

本研究提出了一种 Gradient-Semantic Compensation (GSC) 模型，从梯度和语义的角度克服了增量语义分割中的灾难性遗忘和背景转移问题。通过重新加权梯度反向传播来平衡先前训练类别的遗忘速度，同时提出了软锐语义关系蒸馏来减轻语义方面的灾难性遗忘，并使用原型伪重新标签方法提供强大的语义引导以减轻背景转移问题。在 Pascal VOC 2012、ADE20K 和 Cityscapes 三个公共数据集上的大量实验证明了提出的 GSC 模型的有效性。

Jul, 2023

本研究提出了一种基于 Scaled Gradient Projection 方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

提出了一种新的 TRGP 持续学习方法来解决 catastrophic forgetting 问题，使用 trust region 选择最相关的旧任务，通过 scaled weight projection 聪明地重用旧任务的冻结权重，实现了较高的知识转移效果。

Feb, 2022

提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

Mar, 2021

持续学习中保护之前学习到的知识，同时学习新任务的最终目标。为了减轻对先前知识的遗忘，我们提出了一种新的知识蒸馏技术，它考虑了神经网络的潜在 / 输出空间的流形结构，在学习新任务时将数据流形近似为一阶，并利用线性子空间来建模结构并保持神经网络的知识，从而降低持续学习中的灾难性遗忘。我们还讨论并展示了如何采用我们提出的方法来解决分类和分割问题。在实证上，我们观察到我们提出的方法在包括 Pascal VOC 和 Tiny-Imagenet 在内的几个具有挑战性的数据集上优于各种连续学习方法。此外，我们展示了如何将所提出的方法与现有的学习方法无缝结合，以提高它们的性能。本文的代码将在此 https URL 处提供。

Jul, 2023

提出了一种名为 O-LoRA 的正交低秩适应方法，用于大型语言模型的持续学习，能够有效缓解灾难性遗忘问题，并在学习新任务时保持良好的泛化能力。

Oct, 2023

本文介绍了一个叫做 “持续学习” 的学习模式，研究了一个叫做 “灾难遗忘” 的问题，提出了一种叫做 “NTK overlap matrix” 的任务相似度度量方法，并介绍了一些算法来减轻灾难遗忘产生的影响。其中，我们提出一种基于主成分分析的正交梯度下降算法可以帮助减轻灾难遗忘在常见持续学习场景下的影响。实验结果表明，我们的方法能够有效减轻灾难遗忘的问题。

Oct, 2020

通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

Sep, 2023

该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

Oct, 2019