MoCL-P 是一种轻量级的持续学习方法,通过任务表示引导模块组合和自适应修剪,同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战,且在三个持续学习基准测试中达到了最优性能,提高了参数效率,展示了在资源受限的实际应用中的潜力。
Jun, 2024
通过探索局部模块组合(LMC)的方法,使用结构性的学习和模块选择,LMC 可以为连续学习提供较好的解决方案。
Nov, 2021
本文提出一种基于模块化架构和任务驱动的先验知识的学习算法,能够有效地处理长时间序列任务,且在常规连续学习基准测试上表现出了竞争优势。
Dec, 2020
MoCL 是一种无需复习的模块化和组合的连续学习框架,通过不断向语言模型添加新模块并与现有模块组合,有效地促进知识传递。
Mar, 2024
基于互动持续学习框架,使用大型语言模型与记忆检索机制,以及模型之间的协作交互,实现抵抗遗忘和优越性能的持续学习。
本文提出了一种基于神经模块的组成式学习方式,探讨了在连续强化学习模型下的可重复利用子问题解决方案,并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。
Jul, 2022
我们提出了一个新的连续学习(CL)范式 Realistic Continual Learning(RealCL),其中任务之间的类分布是随机的,不同于结构化设置。同时,我们引入了一个名为 CLARE 的预训练模型解决方案,旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。
Apr, 2024
本文提出了一种学习一组神经网络模块并以不同方式组合的策略,并通过重复使用模块来实现组合概括,提高机器人相关问题的性能。
Jun, 2018
本文提出了一种名为 CPE-CLIP 的参数高效持续学习方法,利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习,其结果表明,相比现有方法,CPE-CLIP 显著提高了少样本类别增量学习的性能,同时也大大减少了可学习参数和训练成本。
Mar, 2023
本研究提出了带自适应组合模块的连续序列生成方法,以在具有相似任务的情况下保证知识共享,并通过伪经验重播促进共享模块之间的知识转移,实验结果表明,相对于基线方法,该方法在性能和参数效率上表现更好。
Mar, 2022