通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

Mar, 2022

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021

通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整合来模拟记忆再巩固，为恢复性遗忘提供了有前景的解决方案，为更健壮和类人的人工智能系统铺平了道路。

Apr, 2024

使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。

Aug, 2023

本文提出了一种基于生物学启发的有条件时间变分自编码器（BI-CTVAE）的模型，用于连续学习涉及时间序列的任务，特别是人类运动，最终将其应用于生成运动序列的连续学习中，并在人类运动数据集上进行测试，结果分类准确率为 78％，比不使用重放模型高 63％，仅比离线训练最先进的 GRU 模型低 5.4％。

Nov, 2022

研究了当神经网络被培训在一个时间上变化的数据流时，其面临的 “灾难性遗忘” 问题。本文提出并实验了一种简单的 rehearsal-based 方法，即 Experience Replay，并证明其相对于现有的基于 rehearsal 的方法有了极大的精度提升。

Oct, 2020

基于可靠的双向预测环境转换能力，我们引入了一个双向转换（BiT）模型，从视觉观察中提取可靠的表示形式，展现出了竞争力的泛化性能和样本效率。

Dec, 2023

本文提出了一种基于 transformer 架构的对比视觉转换器 (CVT) 框架，它设计了一种基于对比学习的强调学习策略，以实现在线学习的更好稳定性 - 可塑性权衡，并通过包含可学习的聚焦点来缓解遗忘。实验结果表明，CVT 方法在在线持续学习基准测试中达到最先进的性能，并有效缓解了灾难性的遗忘。

Jul, 2022

记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。

Apr, 2024