使用扩散模型进行蒸馏与回放的类增量学习
本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。
Jun, 2021
本研究提出了一种名为稳定扩散深度生成重放（SDDGR）的新方法，它利用基于扩散的生成模型和预训练的文本到扩散网络生成逼真多样的合成图像，通过迭代优化策略生成高质量包含旧类别的图像，并采用 L2 知识蒸馏技术提高合成图像中先前知识的保存，并在新任务图像中利用伪标记技术对旧对象进行预测，防止其被误分类为背景元素。实验结果表明，SDDGR 在各种类别增量目标检测场景中显著优于现有算法，达到了最新的技术水平。源代码将向公众提供。
Feb, 2024
本文提出两种用于类增量学习的新型知识传输技术：无数据生成式回放（DF-GR）和双教师信息蒸馏（DT-ID），并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。
Jun, 2021
该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。
Mar, 2020
通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器，我们提出的方法改进了无典范类增量学习的最新方法，特别是在只包含少量类别的最困难的情况下。此外，我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能，为增量学习的更好和更低成本的预训练方法铺平了道路。
Apr, 2024
通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。
Aug, 2023
一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。
Jul, 2018
提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。
Jun, 2022
本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。
Apr, 2022