高效的非样本类增量学习与回顾特征合成

Nov, 2024

高效的非样本类增量学习与回顾特征合成

Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis

Liang Bai, Hong Song, Yucong Lin, Tianyu Fu, Deqiang Xiao...

TL;DR本研究针对深度神经网络在连续数据流学习中遭遇的灾难性遗忘问题，提出了一种新的非样本类增量学习方法。通过用合成的回顾特征替代类的原型，结合基于相似性特征补偿机制，显著提升了对旧类决策边界的保持能力。实验结果表明，该方法在多个数据集上实现了最先进的性能，并提高了非样本类增量学习的效率。

Abstract

Despite the outstanding performance in many individual tasks, Deep Neural Networks suffer from Catastrophic Forgetting when learning from continuous data streams in real-world scenarios. Current Non-Exemplar

发现论文，激发创造

通过特征适应实现内存高效的渐进式学习

本文提出了一种增量学习的方法，该方法保留以前学习类别的训练图像的特征描述符，而不是图像本身，采用了比大多数现有方法更少的低维特征嵌入，通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化，并取得了与保留图像相比更低的内存占用和最先进的分类准确率。

Apr, 2020

自我维持表示扩展非样本类增量学习

提出了一种新颖的自我维持表示扩展方案，包括结构重组策略和原型选择机制等，以实现知识转移和分类增强，从而达到优异的渐进性能表现。

Mar, 2022

603样本模型:走向内存高效的类增量学习

本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加，并提出了一种名为MEMO的基于共享泛化表示的基准，在保持代表性示例的同时，具有高效的内存管理和提取多样性特征的能力。

May, 2022

FeTrIL: 无模板增量学习特征翻译

介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

Nov, 2022

随机辅助类别增强和混合特征的非典型类别增量学习

本文提出了名为RAMF的非示例类增量学习方法，该方法包含随机辅助类增强和混合特征。通过对输入应用三种不同的增强方法，生成增强样本和额外的类标签，从而扩展数据和标签空间，减少特征空间变化并提高模型泛化能力。通过混合新旧特征，旧知识可以保留而不增加计算复杂度，在三个测试中，结果显示该方法优于其他方法并可与高性能重放方法相媲美。

Apr, 2023

NAPA-VQ: 基于向量量化的邻域感知原型增强用于持续学习

非样本类增量学习方法在解决前向和后向遗忘问题上取得了重要进展，本研究提出了一种新的框架NAPA-VQ，通过学习特征空间中的拓扑关系和生成具有代表性的旧类原型来解决类重叠和决策边界判别性的问题，实验证明NAPA-VQ在准确性和遗忘性能方面优于现有的NECIL方法。

Aug, 2023

FeTrIL++：基于山峰爬升的无样本增量学习的特征翻译

FeTrIL框架的研究扩展至新颖的实验领域，通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性，特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在CIFAR100、Tiny-ImageNet和ImageNet-Subset上进行全面实验，FeTrIL在新旧类别的准确性平衡方面表现出卓越性能，相对于其他十种方法，其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响，为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的EFCIL方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘。

Mar, 2024

增量表示的非示例无关类别增量学习

通过使用简单的递增表示(IR)框架，使用数据增强覆盖合适的特征空间并使用单一的L2空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习(efCIL)的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例(样本)。在CIFAR100、TinyImageNet和ImageNetSubset数据集上广泛实验证明，我们提出的IR方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

特征扩展与增强的压缩对于类别增量学习的应用

我们提出了一种新算法，通过使用我们的Rehearsal-CutMix方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像，来增强先前类别知识的压缩。在CIFAR和ImageNet数据集上进行的大量实验证明，我们的方法在不同的增量学习评估协议下始终优于现有技术。

May, 2024

扩散模型与非样本类增量学习及其应用

本研究针对非样本类增量学习（NECIL）中的灾难性遗忘问题，提出了一种基于扩散模型的特征重放方法（DiffFR）。通过采用自监督学习生成初始特征和扩散模型生成与真实特征高度相似的类代表特征，显著提升了模型的表现，并在公开数据集上实现了3.0%的性能提升，超越了现有的NECIL方法。

Aug, 2024