旋转增强蒸馏的免样例类增量学习与详细分析

Aug, 2023

旋转增强蒸馏的免样例类增量学习与详细分析

Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis

Xiuwei Chen, Xiaobin Chang

TL;DR本研究关注在没有保存旧类样本（无样例）的无样例设置下，通过只对新类进行监督，实现在深层特征学习中平衡可塑性和稳定性。通过对不同方法的详细对比及指标衡量，提出了一种简单的无样例设置下的 Class incremental learning 方法，即 Rotation Augmented Distillation (RAD)，其表现接近顶级水平。此外，在更具挑战性的无样例设置下，进行了更多的实证和与现有方法的比较。

Abstract

class incremental learning (CIL) aims to recognize both the old and new classes along the increment tasks. Deep neural networks in CIL suffer from catastrophic forgetting and some approaches rely on saving exemplars from previous tasks, known as the exemplar-based setting, to alleviate

class incremental learning exemplar-free setting plasticity and stability rotation augmented distillation (rad)exemplar-free settings

发现论文，激发创造

DiffClass: 基于扩散的类增量学习

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024

REAL：增强表征的无范例类增量学习

提出了一种表示增强的分析学习方法，通过双流基础预训练和表示增强蒸馏过程来改善无示例约束下的渐进学习过程，解决现有基于分析学习的渐进学习中骨干网络冻结导致的表征不足问题。在不同数据集上的实验结果表明，该方法在无示例约束的渐进学习中优于现有方法，并且与基于回放的方法相比具有可比甚至更优越的性能。

Mar, 2024

无范例的类渐进学习初始训练策略分析

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

增量表示的非示例无关类别增量学习

通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

适应你的教师：改进无样本连续学习的知识蒸馏

通过知识蒸馏作为正则化策略，我们研究了不需要示例的类别增量学习（CIL），以防止遗忘。我们引入了一种名为教师适应（TA）的方法，它与基于知识蒸馏的 CIL 方法无缝结合，并在多个不需要示例的 CIL 基准测试中持续提高性能。

Aug, 2023

G-ACIL: 支持无样本示例的广义类增量学习的分析学习

通过采用解析学习（一种无梯度训练技术）和生成 GCIL 场景的解析解，我们提出了一种无样本的广义解析类增量学习方法（G-ACIL），通过将传入数据分解为暴露和未暴露的类别，实现了增量学习与联合训练之间的等价性（即权重不变性），该等价性通过矩阵分析工具在理论上得到验证，在各种数据集和 GCIL 设置上的实验证明了 G-ACIL 相对于现有竞争 GCIL 方法具有卓越的性能和高鲁棒性。

Mar, 2024

FeTrIL: 无模板增量学习特征翻译

介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

Nov, 2022

利用类别分布的异质性在免范例持续学习中进行优化

无先例的课程增量学习中，使用冻结的特征提取器基于欧氏距离生成类原型并进行分类，然而，欧氏距离在非静态数据学习时表现亚优，特征分布异质。为了解决这个挑战，我们重新考虑适用于课程增量学习的各向异性马氏距离，并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法，且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是，在不更新主干网络的情况下，我们的方法在多个标准连续学习基准上取得了最先进的结果。

Sep, 2023

面向非样本半监督类增量学习

创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

Mar, 2024

图像分类的内存高效类增量学习

本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Aug, 2020