我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

本文提出了一种简单但有效的方法来实现深度学习的连续增量学习，该方法结合了深层模型压缩、关键权重选择和渐进网络扩展的原理，在迭代中实现它们的集成，从而能够实现多种任务的增量学习，避免遗忘并保持模型的紧凑性。在实验中，该方法能够在不遗忘前面任务的情况下，增量学习处理多个任务的深度模型，同时对于单个任务的训练也具有更好的性能表现。

Oct, 2019

在这项研究中，我们研究了增量学习（CL）的问题，其目标是在一系列任务中学习模型，使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging（或 CoMA）的加权集成模型，它在保持稳定性的同时，通过利用可塑性，在当前任务上达到高准确性。我们还提出了一种改进的 CoMA 变体，称为 Continual Fisher-weighted Model Averaging（或 CoFiMA），通过利用模型权重的 Fisher 信息，有选择地对加权集合中的每个参数进行加权。这两种变体概念简单、易于实现，并在多个标准 CL 基准测试中实现了最先进的性能。

Dec, 2023

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

Oct, 2018

本文研究使用神经网络对大脑 MRI 进行两个分割任务的不断学习，通过探索弹性权重共享的新方法 去解决因学习新任务而导致的对第一个任务的灾难性遗忘，实验表明该方法在挑战性的不断学习中具有应用前景。

Nov, 2018

这篇论文提出了一种新的基于权重的、面向联邦持续学习的框架，旨在解决在每个客户端从私有本地数据流中学习一系列任务的情况下，如何使用其他客户端的知识并防止不相关的知识干扰的问题。FedWeIT 取得了优秀的学习成果和通信代价的显著降低，是现有联邦学习和持续学习方法的重要改进。

Mar, 2020

本文提出了一种新的训练范式，它在神经网络参数空间上引入区间约束以控制遗忘。我们提出了 Hyperrectangle Training，这是一种新的训练方法，其中每个任务都用参数空间中的超矩形表示，完全包含在先前任务的超矩形中，有效地模拟超矩形训练集合。同时我们展示了 InterContiNet 算法在不保存以前任务数据的情况下能够在连续学习设置中很好地表现。

Jun, 2022

提出了一种称为 WEAVER 的简单且高效的后处理方法，该方法将旧知识融入新模型中，从而减少灾难性遗忘，并且在序列方式下，应用 WEAVER 导致与一次性对所有数据进行联合训练相似的单词嵌入分布，同时具有更高的计算效率。

Feb, 2022

该论文提出了一种用于设定特定任务的连续学习方法，通过增加生成预定数据和发展新的自我监督技术，得到了比传统生成回放更好的结果，并以多个数据集进行实验来说明该方法的有效性。

May, 2020