在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。

May, 2024

这篇论文介绍了一种新的 Bayesian 衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。

Feb, 2019

本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循环神经网络中应用于连续学习问题时，优于标准权重正则化技术和基于投影的方法。最后，训练的网络在学习新任务时演变出特定于任务的动力学，与生物电路的实验结果类似。

Jun, 2021

本研究通过使用 Hamiltonian Monte Carlo（HMC）来执行连续贝叶斯推理，并通过其样本拟合密度估计器将后验作为新任务的先验进行传播，从而检验了访问真实后验能否保证预防神经网络中的灾难性遗忘，并发现这种方法无法预防灾难性遗忘，说明进行神经网络中的顺序贝叶斯推理的困难性。因此，提出了一种概率连续学习生成过程的贝叶斯模型，而非依赖于神经网络权重的顺序贝叶斯推理。此外，还提出了一个名为原型贝叶斯连续学习的简单基线，可用于类增量连续学习视觉基准，与最先进的贝叶斯连续学习方法相竞争。

Jan, 2023

本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

Oct, 2018

提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

Nov, 2019

本文提出了基于不确定性引导的连续贝叶斯神经网络（UCB）来解决连续学习中的分类问题，从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能，并报告了优秀的性能表现。

Jun, 2019

通过在固定特征提取器上建立贝叶斯生成模型，该研究提出了一种解决深度学习中灾难性遗忘问题的方法，并在多个医学和自然图像分类任务上表现出优异的表现。

Apr, 2022

该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

Apr, 2024

本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

Mar, 2022