利用自然梯度和斯坦梯度促进贝叶斯持续学习
针对目前连续学习研究中存在的实验不够真实的问题，文章提出了连续学习评估的几个重要方面，并介绍了新的实验设计方法，以准确地评估不同的连续学习方法和数据集，建议学界重新分配研究方向。
May, 2018
本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。
Oct, 2018
这篇论文介绍了一种新的Bayesian衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。
Feb, 2019
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
本文提出了 FO0-VB 算法来近似在线贝叶斯更新，以应对数据分布的非稳态性，以及在不使用外部存储器且只依靠现有体系结构的情况下，实现对不确定或未明确定义的任务边界的持续学习的优化，该方法在任务不可知场景下表现优异。
Oct, 2020
本文介绍基于kernel方法的kernel continual learning模型，通过采用episodic memory存储子集样本的方式，利用kernel ridge regression算法学习任务特定的分类器，避免了内存重放以及分类器中存在任务干扰的问题。进一步，引入variational random features方法学习数据驱动的kernel，而不需要提前选择kernel函数。在四个基准测试上的结果表明了kernel在continual learning任务中的有效性和灵活性。
Jul, 2021
该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本研究通过使用Hamiltonian Monte Carlo（HMC）来执行连续贝叶斯推理，并通过其样本拟合密度估计器将后验作为新任务的先验进行传播，从而检验了访问真实后验能否保证预防神经网络中的灾难性遗忘，并发现这种方法无法预防灾难性遗忘，说明进行神经网络中的顺序贝叶斯推理的困难性。因此，提出了一种概率连续学习生成过程的贝叶斯模型，而非依赖于神经网络权重的顺序贝叶斯推理。此外，还提出了一个名为原型贝叶斯连续学习的简单基线，可用于类增量连续学习视觉基准，与最先进的贝叶斯连续学习方法相竞争。
Jan, 2023
该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能，并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均，论文提出的方法有效减少遗忘，同时在现有的持续学习算法中取得改进。
Apr, 2024
在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。
May, 2024