MoCL 是一种无需复习的模块化和组合的连续学习框架，通过不断向语言模型添加新模块并与现有模块组合，有效地促进知识传递。

Mar, 2024

通过探索局部模块组合（LMC）的方法，使用结构性的学习和模块选择，LMC 可以为连续学习提供较好的解决方案。

Nov, 2021

MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。

Jun, 2024

本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

Mar, 2020

自我扩展且具模块化适应的预训练模型的细调方法 (SEMA) 在连续学习中自动决定何时重用或添加适配器模块，并根据不同表示层检测到的剧烈分布变化来进行适应，通过比较基于视觉转换的连续学习适应方法，证明了该框架优于当前最先进的方法且无需记忆回放。

Mar, 2024

本文比较评估了不同生成模型在连续学习时的适用性，主要研究了不同策略下生成模型的记忆及生成质量表现，结论为原始 GAN 模型表现最优，而 generative replay 策略最优。

Dec, 2018

我们在这项工作中旨在建立起机器学习研究的两个重要领域之间的紧密联系：连续学习和序列建模。也就是说，我们提出将连续学习作为序列建模问题进行建模，使得先进的序列模型可以用于连续学习。通过采用元连续学习（MCL）框架，我们可以在元级别上对序列模型进行训练，应用于多个连续学习实验。作为我们新建模的具体示例，我们演示了将 Transformers 及其高效变体用作 MCL 方法的应用。我们在七个基准测试上进行了实验，涵盖了分类和回归问题，结果表明序列模型可以成为通用连续学习的一个有吸引力的解决方案。

Oct, 2023

本文提出了一种简单但有效的方法来实现深度学习的连续增量学习，该方法结合了深层模型压缩、关键权重选择和渐进网络扩展的原理，在迭代中实现它们的集成，从而能够实现多种任务的增量学习，避免遗忘并保持模型的紧凑性。在实验中，该方法能够在不遗忘前面任务的情况下，增量学习处理多个任务的深度模型，同时对于单个任务的训练也具有更好的性能表现。

Oct, 2019

基于类人学习范式，提出了动态模块扩展和适应方法 (DMEA)，用于在连续生成任务中动态确定模型架构以获取新知识，从而在不同的 LSG 设置中明显优于现有方法。

Oct, 2023

本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

Oct, 2018