自我监督训练增强在线连续学习
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的MIR，iCARL和GDumb等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了MIR是一种强大而通用的在线持续学习方法。
Jan, 2021
本文提出了一种用于无监督预训练的方法SPeCiaL，旨在为连续学习定制表示。我们的方法通过序列学习过程差异化地制定了元学习目标，从而产生偏向于快速知识保留且遗忘最小化的表示。在连续小样本学习中，我们评估了SPeCiaL的性能，并展示它能够匹配或胜过其他有监督的预训练方法。
Jun, 2021
在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。
Dec, 2021
研究了自监督学习法在不重放机制的连续性学习中的应用，提出了一种新的Projected Functional Regularization方法，解决了学习新特征时遗忘以前学到信息的问题，取得了竞争性能。
Dec, 2021
该研究提出了一种实用的、实时的、基于计算成本的Continual Learning方法评估方法，并使用包含3900万个时间戳标记的图像的CLOC数据集展开了大量实验，发现现有的CL方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用CL组件，证实了对计算成本进行考虑是开发在线Continual Learning方法的必要基础。
Feb, 2023
本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。
Mar, 2023
本研究提出了一种在线持续学习方法CLER，通过等变性预处理任务进行自我监督，避免了CSSL技术的局限性，并与现有OCL方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。
May, 2023
在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。
Aug, 2023