本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

Dec, 2023

在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

Mar, 2024

家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型，通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。

Jul, 2023

在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了 OnPro 相对于最先进的基准方法的卓越性能。

Aug, 2023

未来的自主智能机器人面临着从非重复稀疏数据流中学习、检测新颖性并具备无监督学习能力的挑战。本文通过提出一种名为 Continually Learning Prototypes (CLP) 的基于原型的方法，解决了这一挑战。CLP 在 FS-OCL 学习中表现出卓越的结果，在检测新颖性和无监督学习方面达到强基线水平。

Mar, 2024

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛，重点讨论了类增量学习中的数据重复问题，介绍了三个解决方案，实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重复性来促进创新策略设计的转变潜力。

May, 2024

本论文重新审视了在线学习中排挤记忆（rehearsal）动态。我们从偏差和动态经验风险最小化的角度提供了理论见解，并检查了重复练习的优点和局限性。受我们的分析启发，设计了一个简单直观的 “重复增强排挤（Repeated Augmented Rehearsal，RAR）” 基线，以解决在线排练的欠拟合和过拟合问题。该论文还展示了 RAR 在学习轨迹中成功实现了对过去数据损失景观和高损失梁脊的准确近似。我们通过广泛的消融研究研究了重复和增强练习之间的相互作用，同时应用强化学习（RL）来动态调整 RAR 的超参数，以在线平衡稳定性 - 可塑性权衡。

Sep, 2022