基于高斯过程和贝叶斯推理，提出了一种针对永续学习的功能正则化框架，该方法通过构建和记忆潜在任务特定函数的近似后验信念，避免遗忘以前的任务，并通过控制学习过程中KL正则化术语的使用，增强了未来任务的学习。

Jan, 2019

本文介绍如何通过使用自然梯度和斯坦梯度，从后验分布和coresets两种方式中学习先前任务的知识，帮助贝叶斯连续学习。

Apr, 2019

本篇论文研究了在多任务高斯过程模型中如何持续不断地学习处理顺序输入输出观测值的问题，提出了基于在线贝叶斯推断先验——后验递归的方法，并结合诱导输入的稀疏近似引入了变分推断。通过该方法得到了可行的无限条件下界，并在自然情况下引入两个新的KL散度。本研究方法的关键技术是基于条件GP先验的递归重构，实现了对迄今为止学习到的变分参数的条件GP先验的递归重构。同时，该方法适用于许多类型的连续或离散的顺序观测，并且适用于可能出现潜在的多通道或异构观测值的场景。广泛的实验证明该方法具有可扩展性，表现可靠，并且对合成和真实世界的大量数据集的误差传播具有鲁棒性。

Oct, 2019

本研究提出了一种名为VAR-GPs的方法，采用贝叶斯定理作为框架，在通过观察数据在线连续学习过程中解决后验更新的问题，并使用稀疏诱导点逼近可扩展后验概率分布，从而避免了灾难性遗忘的问题。经过实验验证，在现代连续学习基准测试中，VAR-GPs表现优异，证明了作者们建模选择的功效。

Jun, 2020

该论文提出了一种基于在线模型的强化学习方法，用于解决未知任务边界的特定问题，在处理非静态任务分布变化方面表现优异。

Jun, 2020

该论文研究了在线学习中的连续学习，并介绍了使用概率正则化技术的两种主要方法，其中Variational Continual Learning (VCL)通过引入 FiLM 层等技术，得到了更好的性能表现。

Nov, 2020

本文介绍基于kernel方法的kernel continual learning模型，通过采用episodic memory存储子集样本的方式，利用kernel ridge regression算法学习任务特定的分类器，避免了内存重放以及分类器中存在任务干扰的问题。进一步，引入variational random features方法学习数据驱动的kernel，而不需要提前选择kernel函数。在四个基准测试上的结果表明了kernel在continual learning任务中的有效性和灵活性。

Jul, 2021

深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式ELBO目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

Aug, 2023

在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。

May, 2024

本研究解决了变分持续学习（VCL）中固定超参数导致的性能限制问题。提出了一种名为AutoVCL的新方法，通过结合任务启发式信息来自动调整超参数，从而提升模型的学习效率和优化能力。结果表明，相较于标准的GVCL模型，AutoVCL在处理新的任务时表现更佳，具有显著的潜在影响力。

Aug, 2024