本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

基于对比学习的连续学习方法，该研究提出了基于重放缓冲区选择（RBS）的对比连续学习方法以确保知识的保留，并使用原型 - 实例关系蒸馏（PRD）损失来维护样本表示与原型之间的关系，实验证明该方法在在线环境中有效消除灾难性遗忘问题。

Mar, 2024

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

May, 2022

研究表明，类增量学习 (CIL) 的问题可以分解为两个子问题：任务内预测 (WP) 和任务 ID 预测 (TP)，其中 TP 与分布外检测 (OOD) 相关联。该研究的关键结论是，无论是否通过 CIL 算法显式或隐式定义 WP 和 TP 或 OOD 检测，优秀的 WP 和 TP 或 OOD 检测都对于良好的 CIL 表现是必要且充分的，其中 TIL 就是 WP。基于理论结果，还设计了新的 CIL 方法，其在 CIL 和 TIL 两个设置中性能均优于强基线。

Nov, 2022

本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

Jun, 2023

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。

Jun, 2023

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

May, 2024