研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的MIR，iCARL和GDumb等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了MIR是一种强大而通用的在线持续学习方法。

Jan, 2021

本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的CL性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在CL效果的方向。

Apr, 2022

本文提出了一个新的永续学习框架“理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了ICL统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将ICL与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

Apr, 2023

本文提出了一种简明有效的使用预训练模型进行CL的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023

我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

May, 2024

本研究解决了超参数模型在多任务学习和持续学习中的理论理解不足的问题。我们通过对过参数线性模型的研究，揭示了模型规模、数据集规模和任务相似性等因素对模型性能的影响，并探讨了重放机制在持续学习中的作用。研究结果为实际设计多任务和持续学习模型提供了重要的理论指导。

Aug, 2024