残差连续学习

AAAIFeb, 2020

Residual Continual Learning

Janghyeon Lee, Donggyu Joo, Hyeong Gwon Hong, Junmo Kim

TL;DR本文提出了一种新的连续学习方法 Residual Continual Learning (ResCL)，通过对网络参数进行线性组合并使用特殊的权重衰减损失函数，该方法可以避免在多个任务的顺序学习中出现灾难性遗忘现象，同时在各种连续学习场景下表现出最先进的性能。

Abstract

We propose a novel continual learning method called Residual Continual Learning (ResCL). Our method can prevent the catastrophic forgetting phenomenon in sequential learning of multiple tasks, without any source

continual learning residual continual learning catastrophic forgetting network reparameterization residual-learning

发现论文，激发创造

CLR: 通道轻量级重新编程用于持续学习

我们提出了一种通道级轻量级重新编程的方法，帮助卷积神经网络在连续学习中克服灾难性遗忘，通过维持稳定性并保留先前任务的能力，同时新增轻量级重新编程参数来适应新的任务，这使得我们的方法对灾难性遗忘具有免疫性。

Jul, 2023

使用预训练模型的现实继续学习方法

我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

Apr, 2024

基于门控增量记忆的连续学习用于序列数据处理

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

遗忘与回溯：连续学习中的增量潜在校正

本文研究了一种名为增量潜在矫正（Incremental Latent Rectification，ILR）的连续学习方法，通过使用一系列小的表示映射网络（称为矫正器单元），使当前训练的深度神经网络的表示向过去任务的表示空间进行校正，从而有效缓解当前深度神经网络面临的灾难性遗忘问题。实证实验在多个连续学习基准数据集上，包括 CIFAR10、CIFAR100 和 Tiny ImageNet，证明了增量潜在矫正方法相较于已有的连续学习方法的有效性和潜力。

Jun, 2024

超网络的持续学习

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019

循环神经网络中的持续学习

本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了 RNNs 上的连续学习问题。

Jun, 2020

关于自适应方法在连续学习中的收敛性

该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

Apr, 2024

强化连续学习

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

基于正则化的持续学习的优化和泛化：一种损失逼近的视角

本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

Jun, 2020

残差对比学习用于图像重建：从噪声图像中学习可迁移的表征

本文提出了一种基于残差的对比度学习（residual contrastive learning，RCL）的无监督视觉表示学习框架，用于低层次视觉任务，减少了现有对比度学习框架中存在的实例鉴别前提任务和下游图像重建任务之间的任务不匹配问题。实验证明，RCL 可以学习出稳健且可传递的表示，改善了各种下游任务如降噪和超分辨率的表现，并显著减少了注释成本。

Jun, 2021