团队合作并非总是良好的：一个分类器漂移的实证研究在类别增量化信息提取中

ACLMay, 2023

团队合作并非总是良好的：一个分类器漂移的实证研究在类别增量化信息提取中

Teamwork Is Not Always Good: An Empirical Study of Classifier Drift in Class-incremental Information Extraction

Minqian Liu, Lifu Huang

TL;DR本文提出个体分类器与冻结特征提取器（ICE）框架及其三个变体，旨在缓解分类器漂移，以无存储旧类别样本的情况下，连续从数据流中学习新类别。在 6 个分类增量信息提取任务上的实验结果表明，与现有最先进方法相比，我们的解决方案（尤其是 ICE-O）始终表现出显著的改进，提供了强有力的基线和未来研究的启示。

Abstract

class-incremental learning (CIL) aims to develop a learning system that can continually learn new classes from a data stream without forgetting previously learned classes. When learning classes incrementally, the classifier must be constantly updated to incorporate new classes, and the

class-incremental learning classifier drift individual classifiers with frozen feature extractor ice-pl ice-o

发现论文，激发创造

无范例的类渐进学习初始训练策略分析

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

决策边界感知的知识整合产生更好的增量学习器

在实例增量学习中，我们定义了一种新的实用模型推广设置，通过仅使用新观察来提高模型性能，同时抵制灾难性遗忘和应对概念漂移问题，我们提出了一种新颖的决策边界感知蒸馏方法来整理知识，使教师模型成为更好的增量学习器，这颠覆了之前以学生模型为主要角色的知识蒸馏方法。

Jun, 2024

持续进化的分类器用于小样本增量学习

本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

Apr, 2021

ICICLE：可解释的类增量继续学习

提出了一种名为 ICICLE 的解释性类增量学习方法，采用原型部分方法，包括解释性正则化、基于相似度的原型初始化策略和任务 - 时间偏差补偿，实验证明其可以减少解释性概念漂移并在概念模型上表现优异，并提供了代码。

Mar, 2023

抵御类增量学习中的不平衡遗忘

通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

Mar, 2024

增量表示的非示例无关类别增量学习

通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

Mar, 2024

面向未来的班级增量学习

通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器，我们提出的方法改进了无典范类增量学习的最新方法，特别是在只包含少量类别的最困难的情况下。此外，我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能，为增量学习的更好和更低成本的预训练方法铺平了道路。

Apr, 2024

零数据增量学习的类印象

提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

Jun, 2022

基于预测误差的增量式分类学习

该研究提出了一种新方法，基于预测误差的分类（PEC），用于解决类递增学习中的遗忘和不平衡问题。实验结果表明，PEC 在单次数据通过的 CIL 中表现出色，能够在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。

May, 2023

面向非样本半监督类增量学习

创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

Mar, 2024