特征扩展与增强的压缩对于类别增量学习的应用

May, 2024

特征扩展与增强的压缩对于类别增量学习的应用

Feature Expansion and enhanced Compression for Class Incremental Learning

Quentin Ferdinand, Gilles Le Chenadec, Benoit Clement, Panagiotis Papadakis, Quentin Oliveau

TL;DR我们提出了一种新算法，通过使用我们的 Rehearsal-CutMix 方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像，来增强先前类别知识的压缩。在 CIFAR 和 ImageNet 数据集上进行的大量实验证明，我们的方法在不同的增量学习评估协议下始终优于现有技术。

Abstract

class incremental learning consists in training discriminative models to classify an increasing number of classes over time. However, doing so using only the newly added class data leads to the known problem of catastrophic forgetting of the previous classes. Recently, dynamic deep lea

class incremental learning catastrophic forgetting dynamic deep learning architectures compression rehearsal-cutmix method

发现论文，激发创造

DER：动态可扩展表示用于类增量学习

提出了一种新颖的、两阶段的学习方法，利用动态可扩展表示进行更有效的概念建模，在三个类别的增量学习基准测试中，该方法始终表现出比其他方法更好很大的优势。

Mar, 2021

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

自主预训练与原型学习的逐类增量学习

通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

Aug, 2023

基于生成分类器的类别增量学习

通过生成式分类方法来实现增量学习，利用变分自编码器进行实现，在多项延续学习基准测试中表现优异。

Apr, 2021

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

SRIL: 用于类增量学习的选择性正则化

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

大规模增量学习

本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

May, 2019

零数据增量学习的类印象

提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

Jun, 2022

跨类特征增强的类增量学习

本文提出了一种新颖的类别增量学习方法，通过引入基于对抗攻击的特征增强技术。通过使用先前学习的分类器来补充训练样本，而不仅仅在后续模型中起到知识蒸馏的教师作用。该方法在类别增量学习中利用以前的知识有独特视角，因为它使用其他类别的示例通过先前学习的分类器上的对抗攻击来增强任意目标类别的特征。该方法可以方便地融入现有的类别增量学习算法，无需进行任何架构修改。在标准基准测试中的广泛实验表明，我们的方法在各种情况下都显著优于现有的类别增量学习方法，特别是在存储示例数量很少的情况下具有极小的存储空间。

Apr, 2023

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022