在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。

Feb, 2024

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

本研究重新审视了评估在线连续学习算法的适应性常见实践，我们发现旧的度量方式是不可靠的，建议采用基于消除虚假相关性的近期样本准确率的新度量方式来解决这一问题，并使用大规模数据集上的基准测试表明，保留和重复使用过去所看到的信息可以实现更好的泛化，我们相信我们的建议可以促进真正的自适应在线连续学习方法的发展。

May, 2023

我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

Apr, 2024

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

本文研究了使用移动神经网络进行实时嵌入式设备上的在线连续学习的效果，通过测量它们的性能、内存使用、计算要求和对域外输入的泛化能力，验证了实时在设备上执行学习的有效性。

Mar, 2022

本文提出了两个与实际环境相似的 CL 基准，分别用于人类状态监测中，研究结果表明，由于基准具有增量属性，遗忘容易被解决，现有策略在固定测试对象上累积知识方面存在困难。

Jun, 2022