在自然语言处理领域中，基于预训练语言模型的增量学习的研究表明，现有的方法普遍低估了预训练语言模型天生的抗遗忘能力，研究者提出了一种名为 SEQ * 的简单方法，它在各项度量上与最先进的增量学习方法具有竞争力或更好的表现，并且需要较少的可训练参数和训练时间。

Dec, 2023

研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

Feb, 2021

在实例增量学习中，我们定义了一种新的实用模型推广设置，通过仅使用新观察来提高模型性能，同时抵制灾难性遗忘和应对概念漂移问题，我们提出了一种新颖的决策边界感知蒸馏方法来整理知识，使教师模型成为更好的增量学习器，这颠覆了之前以学生模型为主要角色的知识蒸馏方法。

Jun, 2024

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

本文提出了一种名为 “mnemonics” 自动化框架，通过维护先前类别的几个代表性示例，通过双层优化方式对其进行训练，探讨了较好的多类增量学习策略。mnemonics 在 CIFAR-100，ImageNet-Subset 和 ImageNet 三个 MCIL 基准上的实验结果表明，mnemonics 示例可大幅领先于现有技术。同时，mnemonics 的实例往往在不同类别之间的边界上，具有极大的研究兴趣。

Feb, 2020

本文主要研究增量学习算法中存在的遗忘和顽固性问题。作者提出了两个度量遗忘和顽固性的指标，介绍了一种基于 KL - 散度的算法 RWalk，并在 MNIST 和 CIFAR-100 数据集上对不同算法进行了比较和分析，结果表明 RWalk 算法在准确率、遗忘和顽固性关系等方面有着更好的性能表现。

Jan, 2018

通过受海马体和新皮质概念学习理论启发，我们提出了一种新颖的框架来解决小样本类递增学习的问题，在两个对象分类数据集上评估了框架的性能，结果显示其具有类递增学习和小样本类递增学习的最新技术水平，并通过在机器人上演示表明我们的框架在有限的人类辅助下能够持续学习对大量家居物品进行分类。

Jul, 2023

本研究通过引入遗忘机制，提出了一种新颖的生成类增量学习（GCIL）方法，旨在动态管理类信息以更好地适应流数据。通过实验证明，将遗忘机制整合到 GCIL 中，显著提高了模型在获取新知识方面的性能，凸显了策略性遗忘在不断学习过程中的积极作用。

Mar, 2024

我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

May, 2023