G-ACIL: 支持无样本示例的广义类增量学习的分析学习

Mar, 2024

G-ACIL: 支持无样本示例的广义类增量学习的分析学习

G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning

Huiping Zhuang, Yizhu Chen, Di Fang, Run He, Kai Tong...

TL;DR通过采用解析学习（一种无梯度训练技术）和生成 GCIL 场景的解析解，我们提出了一种无样本的广义解析类增量学习方法（G-ACIL），通过将传入数据分解为暴露和未暴露的类别，实现了增量学习与联合训练之间的等价性（即权重不变性），该等价性通过矩阵分析工具在理论上得到验证，在各种数据集和 GCIL 设置上的实验证明了 G-ACIL 相对于现有竞争 GCIL 方法具有卓越的性能和高鲁棒性。

Abstract

class incremental learning (CIL) trains a network on sequential tasks with separated categories but suffers from catastrophic forgetting, where models quickly lose previously learned knowledge when acquiring new

class incremental learning catastrophic forgetting generalized cil exemplar-free generalized analytic class incremental learning gcil methods

发现论文，激发创造

AOCIL: 无示例分析型在线课堂增量学习，低时间和资源消耗

分析型在线课堂增量学习（AOCIL）是一个无需示例的方法，通过递归最小二乘法更新分析分类器（AC）实现高准确性、低资源消耗和数据隐私保护，能够处理 OCIL 情景。

Mar, 2024

无范例的类渐进学习初始训练策略分析

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

REAL：增强表征的无范例类增量学习

提出了一种表示增强的分析学习方法，通过双流基础预训练和表示增强蒸馏过程来改善无示例约束下的渐进学习过程，解决现有基于分析学习的渐进学习中骨干网络冻结导致的表征不足问题。在不同数据集上的实验结果表明，该方法在无示例约束的渐进学习中优于现有方法，并且与基于回放的方法相比具有可比甚至更优越的性能。

Mar, 2024

增量表示的非示例无关类别增量学习

通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

旋转增强蒸馏的免样例类增量学习与详细分析

本研究关注在没有保存旧类样本（无样例）的无样例设置下，通过只对新类进行监督，实现在深层特征学习中平衡可塑性和稳定性。通过对不同方法的详细对比及指标衡量，提出了一种简单的无样例设置下的 Class incremental learning 方法，即 Rotation Augmented Distillation (RAD)，其表现接近顶级水平。此外，在更具挑战性的无样例设置下，进行了更多的实证和与现有方法的比较。

Aug, 2023

面向非样本半监督类增量学习

创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

Mar, 2024

DiffClass: 基于扩散的类增量学习

我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

Mar, 2024

DS-AL：无范例增量学习的双流分析学习

为了解决无模范约束下的递增学习问题，本文提出了一种双流分析学习方法，包含主流和补偿流，通过重定义问题和利用嵌入投影到主流线性映射的零空间来解决原有的欠拟合问题。实证结果显示，尽管无模范技术，DS-AL 在各个数据集上的性能不输于或优于基于重放的方法。

Mar, 2024

基于标签生成的类增量学习

本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

Jun, 2023

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023