在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

本文介绍了一种新的基于聚类的样本选择算法，以存储每个已学食品的最具代表性数据，并借助平衡训练批次和知识蒸馏对增强样本进行有效的在线学习，以在所有已学类别上维护模型性能。在大规模食品图像数据库 Food-1K 上进行验证，表明该方法在实现食品图像分类的终身学习方面具有巨大潜力。

Aug, 2021

本文探讨了在线小样本学习在多个室内环境中物体分类的应用。研究发现，存在着灾难性遗忘和在线性能之间的平衡问题，提出了未来改进的方向。

Jun, 2022

探究如何将连续学习转变成在线学习的系统，可用于自我监督学习和机器人避免冲突，该系统采用 “内存感知神经元” 的方法更新关键性权重。

Dec, 2018

该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的 MIR，iCARL 和 GDumb 等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了 MIR 是一种强大而通用的在线持续学习方法。

Jan, 2021

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

提出基于在线、免任务、模糊任务边界、随时进行推断查询的连续学习新模型，使用新度量标准评估模型性能，采用新的内存管理方案和学习技术进行有效的方法，实验验证表明，该方法的表现优于先前的方法。

Oct, 2021

本文提出了一个实验设置，以实现对单个任务的自动语音识别进行在线持续学习。 通过使用在线梯度附着内存方法对端到端语音识别模型进行增量模型更新，并结合有选择性的采样策略进行在线持续学习，可以保持类似于重新训练模型的准确性，同时需要较低的计算成本。作者也使用了自监督学习功能（SSL）特征进行了验证。

Jul, 2022

本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

Mar, 2022

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019