基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

Mar, 2022

基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations

Ali Abbasi, Parsa Nooralinejad, Vladimir Braverman, Hamed Pirsiavash, Soheil Kolouri

TL;DR本文提出了两种生物启发机制，基于稀疏性和异构 dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

Abstract

Continual/lifelong learning from a non-stationary input data stream is a cornerstone of intelligence. Despite their phenomenal performance in a wide variety of applications, deep neural networks are prone to forgetting their previously learned information upon learning new ones. This p

continual learning deep neural networks catastrophic forgetting gradient projection-based methods heterogeneous dropout

发现论文，激发创造

退化作为一个隐式门控机制的连续学习

本论文研究神经网络在连续学习中的稳定性与遗忘问题，并提出一个基于隐含门控机制的 dropout 算法，它在不同任务之间使不同的神经网络路径被激活，从而在连续学习中实现知识保留和性能提升。

Apr, 2020

动态模块化和稀疏的通用持续学习

本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性，并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos 在多组数据集上的表现均好，并且所学习的特征表现出模块化和专业化的特点，同时具有重用性。

Jan, 2023

终身学习中的持续评估：发现稳定性差距

本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

May, 2022

分离记忆编辑与模型更新的解耦继续学习

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

双存储系统中的稀疏编码用于终身学习

本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现，同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型，该模型可以减少遗忘。

Dec, 2022

建模内部类别变化进行持续学习

本篇研究论文介绍了记忆基础连续学习的特点和不足，并提出加强表示差异化的两种扰动方法，以改进连续学习的性能，最终基于大量实证研究结果成功验证了我们的结论。

Oct, 2022

变分密度传播持续学习

深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式 ELBO 目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

Aug, 2023

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

SpaceNet: 为持续学习腾出自由空间

在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

Jul, 2020

学会成长：应对灾难性遗忘的连续结构学习框架

本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于 MNIST、CIFAR100 和 Visual Domain Decathlon 数据集上的所有基线。

Mar, 2019