本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

Oct, 2019

本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

Nov, 2023

在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

Dec, 2021

本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021

本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

Jun, 2020

本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

Apr, 2021

本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

Jun, 2023

我们提出了一种适用于无监督连续学习（UCL）的统一框架，该框架将实时数据和过去数据的特定学习目标区分开来，包括稳定性、可塑性和跨任务整合。我们的方法 Osiris 在分离的嵌入空间中明确优化这三个目标，并在所有基准测试中取得了最先进的性能，包括本文提出的两个具有语义结构化任务序列的新基准测试。与标准基准测试相比，这两个结构化基准更接近人类和动物在导航现实环境时接收到的视觉信号。最后，我们展示了一些初步的证据表明连续模型可以从这样的真实学习场景中受益。

Apr, 2024