图像分类的内存高效类增量学习

Aug, 2020

Memory Efficient Class-Incremental Learning for Image Classification

Hanbin Zhao, Hui Wang, Yongjian Fu, Fei Wu, Xi Li

TL;DR本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Abstract

With the memory-resource-limited constraints, class-incremental learning (CIL) usually suffers from the "catastrophic forgetting" problem when updating the joint classification model on the arrival of newly added

class-incremental learning catastrophic forgetting exemplar samples memory-efficient preserving scheme duplet learning scheme

发现论文，激发创造

603 样本模型：走向内存高效的类增量学习

本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加，并提出了一种名为 MEMO 的基于共享泛化表示的基准，在保持代表性示例的同时，具有高效的内存管理和提取多样性特征的能力。

May, 2022

DiffClass: 基于扩散的类增量学习

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

多变量原型表示的领域泛化增量学习

研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的 DGCIL 方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。

Sep, 2023

助记训练：无遗忘的多类增量学习

本文提出了一种名为 “mnemonics” 自动化框架，通过维护先前类别的几个代表性示例，通过双层优化方式对其进行训练，探讨了较好的多类增量学习策略。mnemonics 在 CIFAR-100，ImageNet-Subset 和 ImageNet 三个 MCIL 基准上的实验结果表明，mnemonics 示例可大幅领先于现有技术。同时，mnemonics 的实例往往在不同类别之间的边界上，具有极大的研究兴趣。

Feb, 2020

类增量学习的类示例压缩技术

本文提出了一种基于压缩样本的识别模型的方法，通过动态压缩样本（通过 class activation maps 生成 0-1 遮罩屏蔽非鉴别性的像素点）并存入内存来实现无需进行手动注释的自适应压缩样本，通过在高分辨率的 CIL benchmarks（包括 Food-101, ImageNet-100, 和 ImageNet-1000）上进行了实验，结果显示，使用 CIM 压缩样本可以实现新的 CIL 精度的全新的最高水平。

Mar, 2023

面向非样本半监督类增量学习

创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

Mar, 2024

增量表示的非示例无关类别增量学习

通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

基于提示的示例超压缩和再生技术的类别增量学习

通过引入一种新的示范超压缩和再生方法 ESCORT，将过去的图像压缩为视觉和文本提示，并通过预先训练的扩散模型生成多样化的高分辨率示范，从而显著提高了多个种类增量学习基准上的模型性能。

Nov, 2023

利用类别分布的异质性在免范例持续学习中进行优化

无先例的课程增量学习中，使用冻结的特征提取器基于欧氏距离生成类原型并进行分类，然而，欧氏距离在非静态数据学习时表现亚优，特征分布异质。为了解决这个挑战，我们重新考虑适用于课程增量学习的各向异性马氏距离，并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法，且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是，在不更新主干网络的情况下，我们的方法在多个标准连续学习基准上取得了最先进的结果。

Sep, 2023