预训练视觉与语言变形器是少样本增量学习者

CVPRApr, 2024

预训练视觉与语言变形器是少样本增量学习者

Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners

Keon-Hee Park, Kyungwoo Song, Gyeong-Moon Park

TL;DR本文介绍了一种名为 PriViLege 的新型 FSCIL 框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了 FSCIL 中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

Abstract

few-shot class incremental learning (FSCIL) is a task that requires a model to learn new classes incrementally without forgetting when only a few samples for each class are given. FSCIL encounters two significant challenges: →

few-shot class incremental learning catastrophic forgetting overfitting large models knowledge distillation

发现论文，激发创造

基于视觉语言模型的少样本类增量学习

我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

May, 2024

Few-Shot 类增量学习调查

本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

Apr, 2023

多模态小样本类增量细粒度数据学习的简化方法

该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

Mar, 2024

PL-FSCIL: 利用提示的能力进行少样本类递增学习

在这篇论文中，我们提出了一种名为 Prompt Learning for FSCIL（PL-FSCIL）的新方法，它利用了信息提示和预训练视觉转换器（ViT）模型的能力来有效解决 Few-Shot Class-Incremental Learning（FSCIL）所面临的挑战。这项工作首次在 FSCIL 中使用了视觉提示，具有明显的简单性。PL-FSCIL 由两个不同的提示组成：域提示和 FSCIL 提示，它们通过嵌入到 ViT 模型的注意层中来增强模型的性能。我们在 CIFAR-100 和 CUB-200 等广泛使用的基准数据集上验证了 PL-FSCIL 的有效性，结果展示了竞争性能，凸显了其在缺乏高质量数据的实际应用中的潜力。

Jan, 2024

使用预训练视觉转换器校准高阶统计量进行少样本类别增量学习

通过使用预训练模型和高阶特征统计，可以改善少样本增量学习中的分类准确度。

Apr, 2024

FILP-3D：利用预训练视觉语言模型增强 3D 少样本类别渐进学习

通过引入 Redundant Feature Eliminator (RFE) 和 Spatial Noise Compensator (SNC) 两个新颖组件，实现了在有限数据上进行递增训练时对灾难性遗忘问题的减轻。实验结果表明，该方法在现有 3D FSCIL 基准和我们的数据集上明显优于现有的最先进方法。

Dec, 2023

基于语义感知的少样本类别增量学习知识蒸馏

本研究提出一种用于解决 few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在 MiniImageNet、CUB200 和 CIFAR100 数据集上创下了新的最优结果。

Mar, 2021

少样本类增量学习

该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

Apr, 2020

基于知识转移的 Few-Shot 类增量学习

提出了一种基于知识传递的关系补充网络（KT-RCNet）方法，使用多样的伪增量任务作为代理来实现知识传递，并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标，实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。

Jun, 2023

通过抽样多相任务进行少样本类增量学习

本研究提出基于元学习的 LearnIng Multi-phase Incremental Tasks (LIMIT) 方法，合成假的 Few-shot Class-Incremental Learning 任务来建立分类特征空间，并基于 Transformer 构建校准模块，实现新类别的适应和对旧类别的防遗忘，该方法在多个数据集上实现了最好表现。

Mar, 2022