Jun, 2020

正交梯度下降进行连续学习的泛化保证

PDF
TL;DR为了处理深度神经网络在连续学习环境下的灾难性遗忘问题，该研究提出了正交梯度下降算法。在神经切向核区间的理论框架下，证明了该算法鲁棒性较高，并推导出了用于连续学习的 SGD 和 OGD 的首个推广限制。最后，研究了 OGD 的局限性，并强调了神经切向核变化对于 OGD 连续学习问题的重要性。
continual learningneural tangent kernelcatastrophic forgettingorthogonal gradient descentgeneralisation bound
发现论文，激发创造
  • 正交梯度下降用于连续学习

    该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

    Oct, 2019

  • SketchOGD：内存高效的持续学习

    本文提出 SketchOGD 作为解决连续任务中机器学习模型遗忘的内存高效算法，使用在线素描算法压缩模型梯度，并在理论和实验上进行了评估。

    May, 2023

  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 使用正交梯度下降进行调试

    探讨了在不必重新训练模型的情况下，如何修复部分故障的神经网络，并使用改进的连续学习算法 OGD 来进行调试，实验证明可以实现消除不良行为和重新学习适当行为的目标。

    Jun, 2022

  • 通过 NTK 重叠矩阵理论分析灾难性遗忘

    本文介绍了一个叫做 “持续学习” 的学习模式，研究了一个叫做 “灾难遗忘” 的问题，提出了一种叫做 “NTK overlap matrix” 的任务相似度度量方法，并介绍了一些算法来减轻灾难遗忘产生的影响。其中，我们提出一种基于主成分分析的正交梯度下降算法可以帮助减轻灾难遗忘在常见持续学习场景下的影响。实验结果表明，我们的方法能够有效减轻灾难遗忘的问题。

    Oct, 2020

  • 过度参数化情况下随机正交转换任务的灾难性遗忘分析

    该研究从理论上和实验证明，过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。

    Jun, 2022

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 基于聚类的领域增量学习

    通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

    Sep, 2023

  • 类梯度投影用于持续学习

    本文提出了一种应对连续学习（CL）中灾难性遗忘问题的方法，即类梯度投影（CGP）。通过利用已有类别的梯度子空间，将梯度更新投影到该子空间来减少其他类别的干扰。进一步通过基础优化和对比学习方法来提高模型处理新任务的能力，实验证明了该方法的有效性。

    Nov, 2023

  • 基于效用的扰动梯度下降：一种连续学习优化器

    该文提出了一种基于效用的扰动梯度下降算法（UPGD），可缓解灾难性遗忘和退化的可塑性问题，使现代表示学习方法适用于不断学习的环境。

    Feb, 2023