本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。

Feb, 2022

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。

Nov, 2017

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

Feb, 2023

本文提出了一种称之为无遗忘学习的方法，可以使用仅有的新任务数据对卷积神经网络进行训练，同时保留原有的能力，并实现与使用原始任务数据的多任务学习相当的性能。同时，该方法可能能够替代使用类似的旧和新任务数据集的微调来提高新任务性能。

Jun, 2016