基于 Hessian 的低秩权重扰动用于不间断学习

Nov, 2023

基于 Hessian 的低秩权重扰动用于不间断学习

Hessian Aware Low-Rank Weight Perturbation for Continual Learning

Jiaqi Li, Rui Wang, Yuanhao Lai, Changjian Shui, Sabyasachi Sahoo...

TL;DR本研究提出了一种基于 Hessian 矩阵感知的低秩扰动算法，用于连续学习。通过将参数转换建模为序列任务的权重矩阵转换，我们在神经网络的每一层上应用任务自适应参数的低秩近似。我们在理论上证明了 Hessian 矩阵与提出的低秩近似之间的量化关系，并根据每层梯度和低秩近似误差的经验损失边际增量来全局确定近似秩。此外，我们通过修剪较不重要的参数来控制模型容量，以减少参数增长。我们在各种基准测试上进行广泛实验证明了我们提出方法的有效性和可扩展性，并与一些最新的先进方法进行了比较。实证结果表明，在不同测试中我们的方法表现更好，特别是在实现任务顺序稳健性和处理遗忘问题方面。可在此链接找到演示代码：https:// 此网址连接。

Abstract

continual learning aims to learn a series of tasks sequentially without forgetting the knowledge acquired from the previous ones. In this work, we propose the hessian aware low-rank perturbation algorithm for con

continual learning hessian aware low-rank perturbation algorithm neural networks low-rank approximation task order robustness

发现论文，激发创造

基于正则化的持续学习的优化和泛化：一种损失逼近的视角

本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

Jun, 2020

权重插值的持续学习

该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

Apr, 2024

自适应权重巩固在连续学习中的应用

我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

使用单侧过度估计的不对称损失逼近进行持续学习

本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。

Aug, 2019

通过近似正交约束的鲁棒低秩训练

介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

Jun, 2023

扩展 Kronecker 分解近似曲率的续学习

提出了一种二次罚函数方法用于神经网络的不断学习，其中包含批量归一化层。通过考虑实例间的关系，扩展了 K-FAC 方法，以便在实际情况下正确逼近深度神经网络的 Hessian 矩阵。同时提出了一种权重合并和再参数化方法，并且对批归一化的统计参数进行了适当处理。实验结果表明，该方法在各项指标上均优于基准算法。

Apr, 2020

基于正则化的持续学习的统计理论

我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

Jun, 2024

InfLoRA: 自动学习的无干扰低秩适应

通过注入少量参数重参数化预训练权重，InfLoRA 方法设计了一个子空间来消除新任务对旧任务的干扰，实现了稳定性和可塑性之间的良好权衡，从而在多个数据集上胜过现有最先进的持续学习方法。

Mar, 2024

基于 LoRA 的持续学习的任务算术

我们提出了一种新颖的方法，利用低秩适应和任务算术，不断训练基于 Transformer 的视觉模型，绕过灾难性遗忘问题并减少训练计算需求。在每个类别仅使用 10 个样本的小内存的帮助下，我们的方法实现了接近于完整微调的性能，并通过严格的消融实验证明了我们方法的优势。

Nov, 2023

可扩展和顺序稳健的加性参数分解连续学习

提出了一种称为 APD 的新型持续学习方法，该方法通过加性参数分解（APD）有效防止灾难性遗忘和顺序敏感性，并在可扩展性、精度和顺序鲁棒性方面明显优于现有的持续学习方法。

Feb, 2019