本文旨在解决在线学习时遭遇的标签噪声问题，提出了一种简单有效、代价低廉的在线数据流净化技术，并通过半监督的微调方法使算法真正参与所有可用的样本，从而取得了在 MNIST、CIFAR10 和 CIFAR100 数据集上的 SOTA 性能。

Apr, 2022

我们提出了一种新的记忆管理策略 Rainbow Memory（RM），该策略基于逐样本分类的不确定性和数据增强，旨在增强记忆中的样本多样性，并在 MNIST，CIFAR10，CIFAR100 和 ImageNet 数据集上进行了广泛的实证验证，证明了该方法在模糊的继续学习设置中显著提高了准确性，虽然方法简单但超越了目前技术水平。

Mar, 2021

提出基于在线、免任务、模糊任务边界、随时进行推断查询的连续学习新模型，使用新度量标准评估模型性能，采用新的内存管理方案和学习技术进行有效的方法，实验验证表明，该方法的表现优于先前的方法。

Oct, 2021

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

本文提出了一种基于回归的连续学习框架，该框架能同时解决灾难性遗忘和噪声标签等问题，具体方法包括自我监督回归和基于集中度的随机图集合，实验结果表明，该方法能在噪声环境下有效地维护一个高纯度的缓冲区。

Oct, 2021

本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

Aug, 2021

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

Aug, 2021

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023