本文提出了一种名为 Imprecise Bayesian Continual Learning (IBCL) 的算法，可以在不需要额外样本负担的情况下，更新知识库、获取特定模型以应对偏好，并通过零样本预测，有效地定位参数 Pareto 集合、维持与基准方法相当甚至更好的性能，降低训练负债。

May, 2023

本文发现，CLIP（Contrastive Language-Image Pretraining）模型在冻结状态下，在不进行任何微调（零次评估）的情况下提供惊人的持续学习表现。作者在多种设置（包括类增量、域增量和任务不可知的增量学习）和五个流行基准测试集上评估了 CLIP 模型，证明了其在大多数设置中优于现有模型；同时作者还通过改变简单提示模板的文本输入来研究 CLIP 模型性能的影响。作者鼓励在持续学习任务中使用这种强大而非常简单的基线方法进行未来的比较。

Oct, 2022

通过动态规划的方法建立连续学习问题的模型，将忘记与泛化之间的权衡建模为一个双方顺序博弈，提出了平衡连续学习 (BCL) 算法，使得忘记和泛化之间达到度的平衡，实验证明 BCL 与最先进技术相比表现良好。

Sep, 2021

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

May, 2024

该研究针对不具有独立同分布观测的连续学习提出了贝叶斯学习的替代方案，即基于概率任务条件化超网络的后验元回放方法，其在标准基准测试中比现有的贝叶斯学习方法表现更好，发现任务推断是其主要限制因素，这一限制有多个原因，与考虑的序列设置无关，为连续学习的进一步发展开辟了新的道路。

Mar, 2021

本文提出了基于不确定性引导的连续贝叶斯神经网络（UCB）来解决连续学习中的分类问题，从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能，并报告了优秀的性能表现。

Jun, 2019

本文提出了一种灵活的 Bookworm Continual Learning (BCL) 框架，其中未见过的类别可以通过语义模型进行推断，视觉模型可以持续更新。因此，BCL 推广了连续学习 (CL) 和零样本学习 (ZSL)。本文还提出了双向想象 (BImag) 框架，用于处理 BCL，其中过去和未来两类的特征都能被生成。作者发现将特征生成器信息与属性进行联合会损害连续学习能力，提出了两种变体（联合类属性调节和不对称生成）来减轻这个问题。

Jun, 2020

基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

Oct, 2023