利用类别分布的异质性在免范例持续学习中进行优化

Sep, 2023

利用类别分布的异质性在免范例持续学习中进行优化

FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning

Dipam Goswami, Yuyang Liu, Bartłomiej Twardowski, Joost van de Weijer

TL;DR无先例的课程增量学习中，使用冻结的特征提取器基于欧氏距离生成类原型并进行分类，然而，欧氏距离在非静态数据学习时表现亚优，特征分布异质。为了解决这个挑战，我们重新考虑适用于课程增量学习的各向异性马氏距离，并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法，且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是，在不更新主干网络的情况下，我们的方法在多个标准连续学习基准上取得了最先进的结果。

Abstract

exemplar-free class-incremental learning (CIL) poses several challenges since it prohibits the rehearsal of data from previous tasks and thus suffers from catastrophic forgetting. Recent approaches to incrementally learning the classifier by freezing the feature extractor after the fir

exemplar-free class-incremental learning prototypical networks euclidean distance anisotropic mahalanobis distance feature covariance relations

发现论文，激发创造

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

FeTrIL++：基于山峰爬升的无样本增量学习的特征翻译

FeTrIL 框架的研究扩展至新颖的实验领域，通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性，特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在 CIFAR100、Tiny-ImageNet 和 ImageNet-Subset 上进行全面实验，FeTrIL 在新旧类别的准确性平衡方面表现出卓越性能，相对于其他十种方法，其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响，为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的 EFCIL 方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘。

Mar, 2024

增量表示的非示例无关类别增量学习

通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

冷启动免示例增量学习的弹性特征整合

Elastic Feature Consolidation (EFC) 通过对于 feature drift 的正则化，以及使用高度相关的方向和高斯原型来更新重要方向的特征漂移，成功解决了 Exemplar-Free Class Incremental Learning (EFCIL) 在 Cold Start 情景下的挑战，并在学习新任务时保持了模型的可塑性，明显优于最先进方法。

Feb, 2024

FeTrIL: 无模板增量学习特征翻译

介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

Nov, 2022

面向非样本半监督类增量学习

创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

Mar, 2024

图像分类的内存高效类增量学习

本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Aug, 2020

受限的少样本类增量学习

提出一种名为 C-FSCIL 的架构，利用超维嵌入，对每个新的类别进行异构存储策略，解决了记忆约束，并通过一些新的损失函数，进一步提高了类向量表示的质量。在 CIFAR100、miniImageNet 和 Omniglot 数据集上的实验结果表明，C-FSCIL 在几乎不用牺牲精度的情况下实现了很高的压缩比。

Mar, 2022

DiffClass: 基于扩散的类增量学习

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024

无需训练的原型校准的少样本类增量学习

在 Few-Shot Class-Incremental Learning (FSCIL) 场景中，我们发现现有方法倾向于将新类别的样本错误地分类为基类别，导致新类别的性能表现较差。为了解决这一问题，我们提出了一种简单而有效的训练无关的校准策略（TEEN），通过将新类别的原型与加权基类别的原型相融合，以增强新类别的可区分性。在 FSCIL 标准基准测试中，TEEN 显示出出色的性能并在 few-shot learning 场景中持续改进。

Dec, 2023