本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。
Apr, 2019
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
本文提出了一个新的问题——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过Batch-level Distillation（BLD）这种基于正则化的CL方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了MC-OCL问题，同时实现了与需要更高存储开销的先前distillation方法相当的准确性。
Aug, 2020
研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。
Jan, 2021
针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。
Mar, 2022
通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。
机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。
Dec, 2023
该研究提出了一个统一框架来解决连续学习中的灾难性遗忘问题，并引入了一种创新的概念——刷新学习，通过重新学习当前数据来提高学习性能，在连续学习基准测试和理论分析中取得了有效的结果。
Mar, 2024
连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善，该方法可以在所有任务间蒸馏累积知识，提高模型的稳定性。
May, 2024
在无监督连续聚类（UCC）中，引入了前向-后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。