旋转增强蒸馏的免样例类增量学习与详细分析

Aug, 2023

旋转增强蒸馏的免样例类增量学习与详细分析

Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis

Xiuwei Chen, Xiaobin Chang

TL;DR本研究关注在没有保存旧类样本（无样例）的无样例设置下，通过只对新类进行监督，实现在深层特征学习中平衡可塑性和稳定性。通过对不同方法的详细对比及指标衡量，提出了一种简单的无样例设置下的 Class incremental learning 方法，即 Rotation Augmented Distillation (RAD)，其表现接近顶级水平。此外，在更具挑战性的无样例设置下，进行了更多的实证和与现有方法的比较。

Abstract

class incremental learning (CIL) aims to recognize both the old and new classes along the increment tasks. Deep neural networks in CIL suffer from catastrophic forgetting and some approaches rely on saving exemplars from previous tasks, known as the exemplar-based setting, to alleviate

发现论文，激发创造

SS-IL: 基于分离Softmax的增量学习

通过对先前流派中分类分数导致偏差的原因进行系统分析，我们提出了一种称为Separate softmax for incremental learning (SS-IL)的新方法，它由分离的softmax (SS)输出层和面向任务的知识蒸馏 (TKD)组成，以解决诸如数据失衡等问题，从而在多个大规模CIL基准数据集上实现了强大的最新结果。

Mar, 2020

图像分类的内存高效类增量学习

本研究针对类增量学习时可能出现的“灾难性遗忘”问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Aug, 2020

603样本模型:走向内存高效的类增量学习

本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加，并提出了一种名为MEMO的基于共享泛化表示的基准，在保持代表性示例的同时，具有高效的内存管理和提取多样性特征的能力。

May, 2022

FeTrIL: 无模板增量学习特征翻译

介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

Nov, 2022

eTag: 基于嵌入蒸馏和任务导向生成的类增量学习

本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

Apr, 2023

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性CNN特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

无范例的类渐进学习初始训练策略分析

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

利用类别分布的异质性在免范例持续学习中进行优化

无先例的课程增量学习中，使用冻结的特征提取器基于欧氏距离生成类原型并进行分类，然而，欧氏距离在非静态数据学习时表现亚优，特征分布异质。为了解决这个挑战，我们重新考虑适用于课程增量学习的各向异性马氏距离，并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法，且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是，在不更新主干网络的情况下，我们的方法在多个标准连续学习基准上取得了最先进的结果。

Sep, 2023

DiffClass: 基于扩散的类增量学习

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024

FeTrIL++：基于山峰爬升的无样本增量学习的特征翻译

FeTrIL框架的研究扩展至新颖的实验领域，通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性，特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在CIFAR100、Tiny-ImageNet和ImageNet-Subset上进行全面实验，FeTrIL在新旧类别的准确性平衡方面表现出卓越性能，相对于其他十种方法，其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响，为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的EFCIL方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘。

Mar, 2024