学它或者离开：模块组合与修剪的连续学习

Jun, 2024

学它或者离开：模块组合与修剪的连续学习

Learn it or Leave it: Module Composition and Pruning for Continual Learning

Mingyang Wang, Heike Adel, Lukas Lange, Jannik Strötgen, Hinrich Schütze

TL;DRMoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。

Abstract

In real-world environments, continual learning is essential for machine learning models, as they need to acquire new knowledge incrementally without forgetting what they have already learned. While pretrained language m

continual learning machine learning models pretrained language models knowledge transfer parameter efficiency

发现论文，激发创造

无需排练的模块化和组合式连续学习语言模型

MoCL 是一种无需复习的模块化和组合的连续学习框架，通过不断向语言模型添加新模块并与现有模块组合，有效地促进知识传递。

Mar, 2024

局部模块组合的持续学习

通过探索局部模块组合（LMC）的方法，使用结构性的学习和模块选择，LMC 可以为连续学习提供较好的解决方案。

Nov, 2021

基于概率的模块化持续学习框架

PICLE 是一种模块化的持续学习（CL）框架，使用概率建模加速搜索，在不同类型的转移中较好地表现，应用于两个基准测试套件表现优异。

Jun, 2023

利用模块化网络与任务驱动先验知识实现高效连续学习

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

自适应组成模块的连续序列生成

本研究提出了带自适应组合模块的连续序列生成方法，以在具有相似任务的情况下保证知识共享，并通过伪经验重播促进共享模块之间的知识转移，实验结果表明，相对于基线方法，该方法在性能和参数效率上表现更好。

Mar, 2022

稳定紧凑拣选与自我增长：不遗忘持续学习

本文提出了一种简单但有效的方法来实现深度学习的连续增量学习，该方法结合了深层模型压缩、关键权重选择和渐进网络扩展的原理，在迭代中实现它们的集成，从而能够实现多种任务的增量学习，避免遗忘并保持模型的紧凑性。在实验中，该方法能够在不遗忘前面任务的情况下，增量学习处理多个任务的深度模型，同时对于单个任务的训练也具有更好的性能表现。

Oct, 2019

使用预训练模型的不断学习：调查

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

May, 2023

神经修剪的连续学习

本篇研究提出了一种名为 CLNP 的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP 还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP 能够显著提高结果。

Mar, 2019

大规模语言模型的持续学习：一项综合调研

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024