基于神经衰竭启发的特征 - 分类器对齐方法在少样本类增量学习中的应用

ICLRFeb, 2023

基于神经衰竭启发的特征 - 分类器对齐方法在少样本类增量学习中的应用

Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning

Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr...

TL;DR本文提出一种基于神经坍塌的框架用于少样本类增量学习，使用分类器原型作为整个标签空间的简单等角紧框架，采用一个新型的损失函数以驱动特征向其相应原型。理论分析表明，该方法在增量方式下保持了神经坍塌最优性并不破坏特征 - 分类器对齐。在 miniImageNet、CUB-200 和 CIFAR-100 数据集上的实验证明了我们提出的框架优于现有技术的表现。

Abstract

few-shot class-incremental learning (FSCIL) has been a challenging problem as only a few training samples are accessible for each novel class in the new sessions. Finetuning the backbone or adjusting the classifier prot

few-shot class-incremental learning neural collapse classifier prototypes fisher discriminant ratio loss function

发现论文，激发创造

持续进化的分类器用于小样本增量学习

本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

Apr, 2021

受限的少样本类增量学习

提出一种名为 C-FSCIL 的架构，利用超维嵌入，对每个新的类别进行异构存储策略，解决了记忆约束，并通过一些新的损失函数，进一步提高了类向量表示的质量。在 CIFAR100、miniImageNet 和 Omniglot 数据集上的实验结果表明，C-FSCIL 在几乎不用牺牲精度的情况下实现了很高的压缩比。

Mar, 2022

通过诱导神经崩溃到固定的分层感知框架以降低错误严重性

该研究提出了一种新的深度神经网络架构，通过固定线性分类器到 Hierarchy-Aware Frame (HAFrame)，利用余弦相似度辅助损失函数来学习 collapse 到 HAFrame 的层级感知特征，从而降低模型预测的误差且保持其准确性。

Mar, 2023

无需训练的原型校准的少样本类增量学习

在 Few-Shot Class-Incremental Learning (FSCIL) 场景中，我们发现现有方法倾向于将新类别的样本错误地分类为基类别，导致新类别的性能表现较差。为了解决这一问题，我们提出了一种简单而有效的训练无关的校准策略（TEEN），通过将新类别的原型与加权基类别的原型相融合，以增强新类别的可区分性。在 FSCIL 标准基准测试中，TEEN 显示出出色的性能并在 few-shot learning 场景中持续改进。

Dec, 2023

增强的少样本逐类增量学习通过集合模型

通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

Jan, 2024

针对小样本类增量学习的平衡监督对比学习

本文提出了一种简单有效的学习方案，来解决 few-shot class-incremental learning 中平衡新任务的欠拟合和遗忘之前任务的挑战，并在 CUB200、CIFAR100 和 miniImagenet 数据集上展现了领先的性能。

May, 2023

关于元学习模型中神经坍塌的作用对少样本学习的研究

元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究，揭示了表示学习中的神经坍塌现象。

Sep, 2023

减少偏差的少样本递增学习

本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

Feb, 2024

Few-Shot 类增量学习调查

本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

Apr, 2023

FILP-3D：利用预训练视觉语言模型增强 3D 少样本类别渐进学习

通过引入 Redundant Feature Eliminator (RFE) 和 Spatial Noise Compensator (SNC) 两个新颖组件，实现了在有限数据上进行递增训练时对灾难性遗忘问题的减轻。实验结果表明，该方法在现有 3D FSCIL 基准和我们的数据集上明显优于现有的最先进方法。

Dec, 2023