MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。
Jun, 2024
MoCL 是一种无需复习的模块化和组合的连续学习框架，通过不断向语言模型添加新模块并与现有模块组合，有效地促进知识传递。
Mar, 2024
PICLE 是一种模块化的持续学习（CL）框架，使用概率建模加速搜索，在不同类型的转移中较好地表现，应用于两个基准测试套件表现优异。
Jun, 2023
本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。
Dec, 2020
本研究提出了带自适应组合模块的连续序列生成方法，以在具有相似任务的情况下保证知识共享，并通过伪经验重播促进共享模块之间的知识转移，实验结果表明，相对于基线方法，该方法在性能和参数效率上表现更好。
Mar, 2022
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
Dec, 2023
这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。
Jul, 2022
本文提出了一种基于神经模块的组成式学习方式，探讨了在连续强化学习模型下的可重复利用子问题解决方案，并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。
对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.
Apr, 2024
在该篇论文中，研究人员介绍了一种新的范例通过现有 MLLMs 的模型组合来创建一个新模型，该模型保留了每个原始模型的模态理解能力。通过实验证明，模型组合可以创建一个多功能模型，能够处理来自多种模态的输入数据。
Feb, 2024