可扩展和顺序稳健的加性参数分解连续学习

ICLRFeb, 2019

可扩展和顺序稳健的加性参数分解连续学习

Scalable and Order-robust Continual Learning with Additive Parameter Decomposition

Jaehong Yoon, Saehoon Kim, Eunho Yang, Sung Ju Hwang

TL;DR提出了一种称为 APD 的新型持续学习方法，该方法通过加性参数分解（APD）有效防止灾难性遗忘和顺序敏感性，并在可扩展性、精度和顺序鲁棒性方面明显优于现有的持续学习方法。

Abstract

While recent continual learning methods largely alleviate the catastrophic problem on toy-sized datasets, some issues remain to be tackled to apply them to real-world problem domains. First, a continual learning

continual learning catastrophic forgetting order-sensitivity task-adaptive parameters apd-net

发现论文，激发创造

分层优化：通过梯度分解进行持续学习

通过梯度分解的方式，实现一个新的连续学习方法，在保留之前任务特定知识的同时，促进共同知识整合，避免了梯度大小变化的影响并实现了当前领域最佳结果。

May, 2021

利用网络参数叠加分解解决噪声标签问题

通过参数的加性分解和早停策略，本研究在深度网络中利用记忆效应来对抗有噪声的标签数据，并成功地区分了对干净数据和错标数据的记忆，从而减少错标数据的干扰并提高了推广性能。

Mar, 2024

基于累积参数平均值的双学习器框架，实现塑性与稳定的无模板增量学习

在增量学习中，我们提出了一个具有累计参数平均的双学习者框架，适用于无例子的场景，并通过任务特定分类器提高预测性能。通过在 CIFAR-100 和 Tiny-ImageNet 上的实验证明，该方法在任务增量学习和类别增量学习中优于多种先进方法。

Oct, 2023

神经网络中应用参数重用克服灾难性遗忘

本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。

Jul, 2022

基于 Hessian 的低秩权重扰动用于不间断学习

本研究提出了一种基于 Hessian 矩阵感知的低秩扰动算法，用于连续学习。通过将参数转换建模为序列任务的权重矩阵转换，我们在神经网络的每一层上应用任务自适应参数的低秩近似。我们在理论上证明了 Hessian 矩阵与提出的低秩近似之间的量化关系，并根据每层梯度和低秩近似误差的经验损失边际增量来全局确定近似秩。此外，我们通过修剪较不重要的参数来控制模型容量，以减少参数增长。我们在各种基准测试上进行广泛实验证明了我们提出方法的有效性和可扩展性，并与一些最新的先进方法进行了比较。实证结果表明，在不同测试中我们的方法表现更好，特别是在实现任务顺序稳健性和处理遗忘问题方面。可在此链接找到演示代码：https:// 此网址连接。

Nov, 2023

自适应权重巩固在连续学习中的应用

我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

可扩展的敌对在线持续学习

本文提出了一种可扩展的对抗式连续学习（SCALE）方法，使用参数生成器将共同特征转换为任务特定特征和单个判别器在对抗游戏中诱导共同特征。该方法通过类元学习的方式进行训练，使用三个损失函数的新组合。SCALE 方法在准确性和执行时间方面优于突出的基线。

Sep, 2022

自适应组成模块的连续序列生成

本研究提出了带自适应组合模块的连续序列生成方法，以在具有相似任务的情况下保证知识共享，并通过伪经验重播促进共享模块之间的知识转移，实验结果表明，相对于基线方法，该方法在性能和参数效率上表现更好。

Mar, 2022

CorDA：大型语言模型的上下文导向分解适应

该研究论文提出了一种基于上下文的分解自适应方法 CorDA，通过收集少量数据样本并使用奇异值分解来构建适应器，从而更好地保留了世界知识并提升了参数优化方法的性能。

Jun, 2024

CoSCL: 小型持续学习者的合作比大型学习者更加强大

本文研究了在环境改变时如何使模型具有可持续发展能力，在理论层面上证明了增量学习的可行性，并提出了一种新的模型架构 ——Cooperation of Small Continual Learners (CoSCL)，该模型使用一组独立的子网络来学习所有的任务，有助于提高模型的泛化能力和记忆稳定性，并取得了新的最优性能。

Jul, 2022