该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

Jan, 2023

通过知识蒸馏作为正则化策略，我们研究了不需要示例的类别增量学习（CIL），以防止遗忘。我们引入了一种名为教师适应（TA）的方法，它与基于知识蒸馏的 CIL 方法无缝结合，并在多个不需要示例的 CIL 基准测试中持续提高性能。

Aug, 2023

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

提出一种新的方法帮助在有限数据情况下进行类别增量的在线学习。该方法使用元学习框架和知识整合来解决灾难性遗忘和过拟合等问题。该方法在多个基准测试中显著优于其他方法。

Jun, 2021

本文提出了一种基于知识蒸馏和权重对齐的类增量学习方法，能够有效减轻灾难性遗忘，提高模型性能，实验证明此方法在几种数据集上明显优于现有最先进方法。

Nov, 2019

本文提出了一种两个主要组成部分的框架来避免类别增量持续学习中的灾难性遗忘，包括动态架构和训练过程，结果表明这种解决方案在医疗数据集上能够实现比现有技术水平更好的类别准确性和遗忘能力。

Mar, 2023

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

在实例增量学习中，我们定义了一种新的实用模型推广设置，通过仅使用新观察来提高模型性能，同时抵制灾难性遗忘和应对概念漂移问题，我们提出了一种新颖的决策边界感知蒸馏方法来整理知识，使教师模型成为更好的增量学习器，这颠覆了之前以学生模型为主要角色的知识蒸馏方法。

Jun, 2024

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024