本研究提出一种新的方法——变分原型重放，以实现分类任务中的少样本连续学习，避免了灾难性遗忘。该方法通过学习一组可变原型来表示属于同一类的样本嵌入，并将类代表原型分别分开。此外，该方法还通过从以前的任务中重放一个样本来避免灾难性遗忘。相较于最近的连续学习方法，该方法能够在不需要添加新单元的情况下轻松适应更多类的新任务，并且更具有内存效率。

May, 2019

通过在共享的潜变量空间中不断更新原型解决了在线学习中原型过时和缓解遗忘的问题，提出了一种学习和预测任意时间点数据的系统。除了最近邻预测之外，通过提高类原型周围的聚类密度和增加类间方差来促进学习的同时，使用记忆库中的样本构成虚拟原型来提高潜在空间质量。

Sep, 2020

该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

Aug, 2021

本研究提出了一种基于经验回放的在线连续学习方法，该方法使用不对称更新规则，使得新类别能够更好地适应先前观察到的类别，并在标准连续学习基准测试中获得显著的性能提升。

Mar, 2022

本文提出了一种新的重放式连续学习策略OLCGM，使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小，取得了比现有重放策略更高的最终准确性。

Jun, 2022

该研究提出了一种实用的、实时的、基于计算成本的Continual Learning方法评估方法，并使用包含3900万个时间戳标记的图像的CLOC数据集展开了大量实验，发现现有的CL方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用CL组件，证实了对计算成本进行考虑是开发在线Continual Learning方法的必要基础。

Feb, 2023

本文提出了一种用于在线连续学习问题的简单算法，该算法采用kNN分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM)两个大规模OCL数据集上取得了最新的技术水平。

May, 2023

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了Collaborative Continual Learning (CCL)和Distillation Chain (DC)两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

Dec, 2023

本研究针对连续学习中严重的灾难性遗忘问题，即模型在学习新任务时会遗忘以前的知识。论文提出通过自蒸馏获取可迁移知识，并优化记忆更新方法以优先存储易混淆样本，从而实现更高效的学习。实验结果表明，该方法在CIFAR10、CIFAR100和MiniimageNet数据集上的表现优于传统方法。

Sep, 2024