遗忘与回溯：连续学习中的增量潜在校正

Jun, 2024

遗忘与回溯：连续学习中的增量潜在校正

Forget but Recall: Incremental Latent Rectification in Continual Learning

Nghia D. Nguyen, Hieu Trung Nguyen, Ang Li, Hoang Pham, Viet Anh Nguyen...

TL;DR本文研究了一种名为增量潜在矫正（Incremental Latent Rectification，ILR）的连续学习方法，通过使用一系列小的表示映射网络（称为矫正器单元），使当前训练的深度神经网络的表示向过去任务的表示空间进行校正，从而有效缓解当前深度神经网络面临的灾难性遗忘问题。实证实验在多个连续学习基准数据集上，包括 CIFAR10、CIFAR100 和 Tiny ImageNet，证明了增量潜在矫正方法相较于已有的连续学习方法的有效性和潜力。

Abstract

Intrinsic capability to continuously learn a changing data stream is a desideratum of deep neural networks (DNNs). However, current DNNs suffer from catastrophic forgetting, which hinders remembering past knowled

continual learning incremental latent rectification deep neural networks catastrophic forgetting representation mapping networks

发现论文，激发创造

实时连续学习的潜在回放

本文提出了一种称为 “隐式回放” 的技术，该技术可以在边缘计算和嵌入式设备上有效地训练复杂的神经网络模型，并利用连续学习技术实现了较高的自适应性和自主性。我们的实验表明，结合现有的连续学习技术，隐式回放在复杂视频基准测试方面取得了最先进的性能，并且在智能手机上部署该技术可以实现几乎实时的连续学习。

Dec, 2019

持续学习的不变表示学习

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021

基于修正的知识保留连续学习

本文提出了一种新颖的深度学习方法，通过权重修正和仿射变换来解决在增量学习环境下的分类任务，适用于零样本和非零样本学习，并证明了该方法在多个数据集上的效果均超过现有方法。

Mar, 2021

持续学习的自适应保留与修正

我们提出了一种基于在测试阶段的解决方案，引入了一个简单的任务外检测方法（OTD），用于准确识别来自过去任务的样本，借助 OTD，我们提出了自适应保留机制和自适应修正机制，称之为 Adaptive Retention & Correction（ARC），实验证明我们的方法可以与现有的持续学习方法相结合，而无需修改其训练程序，在 CIFAR-100 和 Imagenet-R 数据集上分别实现了 2.7% 和 2.6% 的平均性能提升。

May, 2024

残差连续学习

本文提出了一种新的连续学习方法 Residual Continual Learning (ResCL)，通过对网络参数进行线性组合并使用特殊的权重衰减损失函数，该方法可以避免在多个任务的顺序学习中出现灾难性遗忘现象，同时在各种连续学习场景下表现出最先进的性能。

Feb, 2020

CLR: 通道轻量级重新编程用于持续学习

我们提出了一种通道级轻量级重新编程的方法，帮助卷积神经网络在连续学习中克服灾难性遗忘，通过维持稳定性并保留先前任务的能力，同时新增轻量级重新编程参数来适应新的任务，这使得我们的方法对灾难性遗忘具有免疫性。

Jul, 2023

自适应分类标准在任务增量连续学习中缓解灾难性遗忘

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

基于压缩潜在重放的轻量级脉冲神经网络的持续学习

基于回顾的持续学习在深度神经网络中被广泛研究，然而在脉冲神经网络中的应用尚未深入探索。本文介绍了第一种用于脉冲神经网络的内存高效实现的潜在重放（LR）- 基于回顾持续学习，旨在与资源受限设备无缝集成。实验结果表明，在 Heidelberg SHD 数据集上进行的示例和类增量任务中，Top-1 准确率分别达到 92.5％和 92％，而不会忘记先前学到的信息。此外，通过应用时间域压缩，我们将 LR 的存储要求减少了两个数量级，并且与简单的回顾设置相比，最大准确率下降仅为 4％。在多类增量任务中，我们的脉冲神经网络从初始的 10 个类别学习了 10 个新类别，最终在完整测试集上达到了 78.4％的 Top-1 准确率。

May, 2024

基于门控增量记忆的连续学习用于序列数据处理

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023