渐变投影记忆用于连续学习

ICLRMar, 2021

Gradient Projection Memory for Continual Learning

Gobinda Saha, Isha Garg, Kaushik Roy

TL;DR提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

Abstract

The ability to learn continually without forgetting the past tasks is a desired attribute for artificial learning systems. Existing approaches to enable such learning in artificial neural networks usually rely on network growth, importance based weight update or replay of old data from

continual learning artificial neural networks gradient descent singular value decomposition memory

发现论文，激发创造

利用缩放梯度投影进行连续学习

本研究提出了一种基于 Scaled Gradient Projection 方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

正交梯度下降用于连续学习

该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

Oct, 2019

为持续学习的动态梯度投影记忆受益铺平锋芒

探究权重损失面与稳定性的关系，并基于此提出 FS-DGPM 方法，使用软权重代表过去任务的重要性，通过降低权重损失面的失真度，提高模型对学习新技能的灵敏度和泛化能力。

Oct, 2021

参数高效连续学习的梯度投影

参数高效梯度投影（PEGP）是第一个在不同调节范例中数学证明提供抗遗忘机制的统一方法，通过将正交梯度投影引入不同的 PET 范例中，从而有效抵制 PET 基础的连续学习中的遗忘现象。

May, 2024

SketchOGD：内存高效的持续学习

本文提出 SketchOGD 作为解决连续任务中机器学习模型遗忘的内存高效算法，使用在线素描算法压缩模型梯度，并在理论和实验上进行了评估。

May, 2023

TRGP: 连续学习的信赖区域梯度投影

提出了一种新的 TRGP 持续学习方法来解决 catastrophic forgetting 问题，使用 trust region 选择最相关的旧任务，通过 scaled weight projection 聪明地重用旧任务的冻结权重，实现了较高的知识转移效果。

Feb, 2022

类梯度投影用于持续学习

本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

Nov, 2023

基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

本文提出了两种生物启发机制，基于稀疏性和异构 dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

Mar, 2022

基于图的持续学习

本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

Jul, 2020

渐变周期性记忆用于连续学习

研究了 AI 发展中的一个主要障碍，即模型快速解决新问题的能力欠佳且容易忘记先前获得的知识。提出了一种基于连续数据的模型学习评估指标并提出了 Gradient Episodic Memory (GEM) 模型，它可以减轻模型遗忘的问题并允许将知识传递到以前的任务中。实验表明，相对于现有技术水平，GEM 表现良好。

Jun, 2017