跨类特征增强的类增量学习

Apr, 2023

Cross-Class Feature Augmentation for Class Incremental Learning

Taehoon Kim, Jaeyoo Park, Bohyung Han

TL;DR本文提出了一种新颖的类别增量学习方法，通过引入基于对抗攻击的特征增强技术。通过使用先前学习的分类器来补充训练样本，而不仅仅在后续模型中起到知识蒸馏的教师作用。该方法在类别增量学习中利用以前的知识有独特视角，因为它使用其他类别的示例通过先前学习的分类器上的对抗攻击来增强任意目标类别的特征。该方法可以方便地融入现有的类别增量学习算法，无需进行任何架构修改。在标准基准测试中的广泛实验表明，我们的方法在各种情况下都显著优于现有的类别增量学习方法，特别是在存储示例数量很少的情况下具有极小的存储空间。

Abstract

We propose a novel class incremental learning approach by incorporating a feature augmentation technique motivated by adversarial attacks.

incremental learning feature augmentation adversarial attacks classification memory budget

发现论文，激发创造

特征扩展与增强的压缩对于类别增量学习的应用

我们提出了一种新算法，通过使用我们的 Rehearsal-CutMix 方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像，来增强先前类别知识的压缩。在 CIFAR 和 ImageNet 数据集上进行的大量实验证明，我们的方法在不同的增量学习评估协议下始终优于现有技术。

May, 2024

跨任务特征对于类别增量学习的重要性

本文探讨了类增量学习中跨任务特征的学习对于基本重放策略性能的影响，提出了一个新的类增量学习遗忘度量，并通过实验结果发现未来类增量学习算法不仅要防止遗忘，还要提高跨任务特征质量和任务之间的知识转移，特别是在任务数据有限的情况下。

Jun, 2021

零数据增量学习的类印象

提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

Jun, 2022

随机辅助类别增强和混合特征的非典型类别增量学习

本文提出了名为 RAMF 的非示例类增量学习方法，该方法包含随机辅助类增强和混合特征。通过对输入应用三种不同的增强方法，生成增强样本和额外的类标签，从而扩展数据和标签空间，减少特征空间变化并提高模型泛化能力。通过混合新旧特征，旧知识可以保留而不增加计算复杂度，在三个测试中，结果显示该方法优于其他方法并可与高性能重放方法相媲美。

Apr, 2023

使用生成对抗网络的增量式分类器学习

通过使用新的损失函数、简单的方法来解决分类失效和利用生成对抗网络来生成历史数据和选择代表性样本，我们解决了增量分类器学习中的灾难性遗忘问题，并在 CIFAR-100、Flower-102 和 MS-Celeb-1M-Base 数据集上进行了验证，证明了我们方法的有效性，并且生成的数据比真实图像具有更少的隐私问题。

Feb, 2018

通过隐式对抗数据增强提升模型的弹性

通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

Apr, 2024

交叉空间聚类与控制迁移的类增量学习

本文提出了基于蒸馏的目标，旨在维护先前类别的准确性并使模型学习新类别。通过利用特征空间的结构，我们讨论了跨空间聚类（CSC）和控制传递（CT）两个目标。我们的实验结果表明，在两个基准数据集上，我们的方法 (CSCCT) 一直表现出稳定的性能提升。

Aug, 2022

面向未来的班级增量学习

通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器，我们提出的方法改进了无典范类增量学习的最新方法，特别是在只包含少量类别的最困难的情况下。此外，我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能，为增量学习的更好和更低成本的预训练方法铺平了道路。

Apr, 2024

通过特征适应实现内存高效的渐进式学习

本文提出了一种增量学习的方法，该方法保留以前学习类别的训练图像的特征描述符，而不是图像本身，采用了比大多数现有方法更少的低维特征嵌入，通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化，并取得了与保留图像相比更低的内存占用和最先进的分类准确率。

Apr, 2020

基于生成分类器的类别增量学习

通过生成式分类方法来实现增量学习，利用变分自编码器进行实现，在多项延续学习基准测试中表现优异。

Apr, 2021