使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。
Mar, 2022
本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。
Dec, 2021
本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。
May, 2023
借鉴大脑同时利用多种机制的方式，我们提出了 TriRE，一种新的持续学习范式，它包括保留每个任务最突出的神经元，修订和巩固当前和过去任务的提取知识，以及通过回溯和重新学习促进次要活跃神经元用于后续任务。在持续学习设置中，TriRE 显著减少了任务干扰，并超过了考虑独立评估的不同持续学习方法。
Oct, 2023
使用 COntinual Learning with Transformer (COLT) 解决 SSLAD-Track 3B 目标检测挑战中由 catastrophic forgetting 引起的问题，并在挑战测试集上获得了 70.78 的平均精度。
Jan, 2022
近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。
Dec, 2023
本文提出了一种新的方法来解决神经网络训练过程中的 Catastrophic forgetting 问题，该方法结合了正则化和生成模型复习策略的优势，使用基于 internal embeddings 的 normalizing flow 作为生成模型并对其进行调节，取得了较好的性能表现。
Jul, 2020
我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。
Jan, 2024
本文提出了一种基于 transformer 架构的对比视觉转换器 (CVT) 框架，它设计了一种基于对比学习的强调学习策略，以实现在线学习的更好稳定性 - 可塑性权衡，并通过包含可学习的聚焦点来缓解遗忘。实验结果表明，CVT 方法在在线持续学习基准测试中达到最先进的性能，并有效缓解了灾难性的遗忘。
Jul, 2022
针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。