本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的MIR，iCARL和GDumb等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了MIR是一种强大而通用的在线持续学习方法。

Jan, 2021

本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

Mar, 2021

本文提出了一个名为KIERA的无监督连续学习方法，采用灵活的深度聚类方法来处理不断变化的环境，并提出基于质心的经验回放方法来克服灾难性遗忘的问题。实验结果表明，与现有方法相比，KIERA具有高度的竞争性能。

Jun, 2021

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用LUMP技术来缓解灾难性遗忘问题。

Oct, 2021

论文探索了半监督持续学习方法，该方法能从标记数据中预测未标记数据的梯度，进而将未标记数据应用到有监督持续学习中。实验结果表明，未标记图像可以增强持续学习模型对未见数据的预测能力并显著缓解灾难性遗忘。

Jan, 2022

该研究针对稳定数据的连续学习模型，提出了一种混合高斯模型的端到端融合方法，并在内部空间进行联合优化和调整，同时证明了该模型在基于图像分类问题上的竞争力。

Jul, 2023

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

在无监督连续聚类（UCC）中，引入了前向-后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。

May, 2024