跨领域连续学习的CLAMP方法
本篇研究提出了一种名为CLNP的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP能够显著提高结果。
Mar, 2019
本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于MNIST、CIFAR100和Visual Domain Decathlon数据集上的所有基线。
Mar, 2019
通过装备分类器，使其具备类相似性度量作为学习参数，通过Mahalanobis相似性计算来鼓励学习与这些额外参数无缝连续学习骨干表示，我们提出了一种基于参数指数移动平均值的方法来更好地进行知识蒸馏，展示了现有的持续学习算法在多个分布下容易忘记，而我们的方法意味着当面对来自不同领域的新任务时，在DomainNet和OfficeHome等具有挑战性的数据集上准确度可以提高高达10％
Mar, 2022
本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题——灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文中，并以周期性领域转移实验结果为例进行了详细分析。我们的实验结果表明，该方法在提高在线蒸馏的鲁棒性和准确性方面具有有效性，并具有在视频监控或自动驾驶等领域的潜在应用。
Apr, 2023
本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的$k$-FPF两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF方法在几个增量CL基准测试中均能显著提高方法效果，$k$-FPF进一步提高了效率而不降低准确性。
Apr, 2023
本文提出了一种方法，旨在解决连续学习中的无监督域适应问题，通过修剪实现框架来保留特定于域的知识，并使用一种基于批次标准化的度量方法进行有效推理，取得了良好的性能，同时在防止过去领域的灾难性遗忘方面显著改善。
Apr, 2023
我们提出了一种算法来解决持续学习（CL）场景中的无监督域适应（UDA）问题，主要目标是在连续到达新领域时通过更新基本模型来维持模型概括性，而后续任务中只能访问未标记的数据。我们的解决方案是通过稳定学习的内部分布来提高模型在新领域上的概括性，内部分布使用高斯混合模型（GMM）进行建模，并将新领域的内部学习分布与估计的GMM进行匹配来更新模型，同时利用经验重播来克服灾难性遗忘问题，并提供理论分析来解释我们算法的有效性，通过广泛的比较和分析实验证明我们的方法是有效的，我们在四个基准数据集上进行实验以证明我们的方法的有效性。
Jan, 2024
本研究提出了一种名为交叉领域连续学习（CDCL）的新方法，在一个紧凑的卷积网络中结合了跨任务关注机制，实现了对先前任务特征的对齐，并在相关领域之间进行了无监督的交叉领域学习（UDA）。通过使用一种任务内特定的伪标签方法，确保了有标签和无标签样本的准确输入对，从而增强了学习过程。本方法在公开的UDA数据集上进行了广泛实验，显示出在交叉领域连续学习挑战上的良好性能。此外，本研究提出了增量思想，为该领域的进展做出了贡献。
Feb, 2024
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。
Feb, 2024