本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

Mar, 2020

家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型，通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。

Jul, 2023

在这篇论文中，我们介绍了一个新的问题，在持续学习领域中称为 “在线持续知识学习（OCKL）”。我们提出了一个新的基准和评估指标，旨在测量新知识获取的速度和先前学到的知识的保留率。通过使用各种最先进的方法进行的实证评估为 OCKL 建立了稳健的基准。我们的结果显示，现有的持续学习方法对于应对 OCKL 提出的独特挑战不足够。我们确定了影响知识获取和保留之间权衡的关键因素，从而推进了我们对如何在不断演化的环境中训练 LLMs 的理解。

Nov, 2023

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

本文提出一种新的可扩展体系结构和训练算法解决 Deep Learning 在 lifelong learning 场景中面临的挑战，尤其是在训练时间和内存限制下存储经验的问题，并在性能评估中取得了显著提升。

Nov, 2017

在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了 OnPro 相对于最先进的基准方法的卓越性能。

Aug, 2023

该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

Feb, 2023

本文提出了一种新的重放式连续学习策略 OLCGM，使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小，取得了比现有重放策略更高的最终准确性。

Jun, 2022

在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

Dec, 2023