本文提出了一个理论方法来解释在连续学习任务中避免遗忘的可行性和困难性，主要发现是实现这样的算法通常需要解决NP问题和具有完美的内存存储能力。此发现在经验回放、情景记忆和核心集等方面的CL算法表现出的优异表现相对于基于正则化方法是有理论基础的。

Jun, 2020

本文提出了两个与实际环境相似的CL基准，分别用于人类状态监测中，研究结果表明，由于基准具有增量属性，遗忘容易被解决，现有策略在固定测试对象上累积知识方面存在困难。

Jun, 2022

本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

Jan, 2023

本文提出了一个新的永续学习框架“理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了ICL统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将ICL与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

Apr, 2023

本文提出了一种简明有效的使用预训练模型进行CL的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023

我们提出了一个新的连续学习（CL）范式Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为CLARE的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了CLARE在各种RealCL场景中的有效性和优越性。

Apr, 2024

本研究解决了持续学习中模型遗忘的问题，提出了一种基于变换器的元学习优化器，利用注意力机制来学习模型参数在不同任务间的复杂关系。通过对Benchmark数据集的评估，结果表明该方法能够有效避免灾难性遗忘，并加速未来学习，特别是在标签数据稀缺的情况下，展示了其显著的优势。

Aug, 2024

该研究针对当前机器学习方法容易遗忘先前学习经验的问题，通过提出一种基于变压器的元学习优化器，来增强持续学习的能力。该方法利用注意力机制学习模型参数之间的复杂关系，有效生成当前任务的权重更新，并在遇到新任务时避免灾难性遗忘，验证了其在标杆数据集上的有效性。

Aug, 2024

本研究解决了持续学习和机器遗忘两个重要挑战，并提出了一种利用受控知识蒸馏的统一框架。该方法实现了高效学习、最小遗忘及有效的定向遗忘，实验结果显示其在这两方面的表现超过了现有方法。此框架的提出为具有动态学习和遗忘能力的适应性模型奠定了基础。

Aug, 2024

本研究针对持续学习方法通常依赖于所有可用数据的问题，提出了通过选择关键样本进行学习的新方法。研究发现，基于精选样本的学习显著提高了模型的增量准确性，改善了对先前任务的知识保留，并优化了学习的表示能力。这些发现为持续学习中的选择性学习策略提供了更深入的理解。

Oct, 2024