本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

Jun, 2023

本文提出了一种包含两个组件（交叉卷积批量规范化和分层微调）的微调方法 ConFiT，旨在解决表示转移和批量规范化不一致的问题，并在四个数据集上得到了较低存储开销的优异性能表现。

Apr, 2022

本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

May, 2024

通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。

Mar, 2022

本文介绍了一种名为 LQF 的线性优化模型，使用 Leaky-ReLU 激活函数、平均平方误差损失函数和 Kronecker 矩阵分解的预处理方式，使得该模型在大多数实际图像分类任务中具有与非线性优化方法相当的性能，且具有线性模型的可解释性和鲁棒性。

Dec, 2020

通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

Oct, 2023

本研究针对细粒度图像检索在增量学习场景中的问题，提出一种基于增量学习和最大均值差异的方法，以减轻遗忘问题导致的检索性能降级。通过将原网络的分类器提供的软 “标签” 传输到训练自适应网络的过程中，达到保留原分类能力的目的，并通过模型正则化来最小化原网络与自适应网络之间的新类特征的偏差。实验结果表明，该方法在保持原类分类性能的同时，对新类有较高的性能表现。

Oct, 2020

本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

May, 2023

本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

Apr, 2022