FILP-3D：利用预训练视觉语言模型增强 3D 少样本类别渐进学习

Dec, 2023

FILP-3D：利用预训练视觉语言模型增强 3D 少样本类别渐进学习

FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models

Wan Xu, Tianyu Huang, Tianyu Qu, Guanglei Yang, Yiwen Guo...

TL;DR通过引入 Redundant Feature Eliminator (RFE) 和 Spatial Noise Compensator (SNC) 两个新颖组件，实现了在有限数据上进行递增训练时对灾难性遗忘问题的减轻。实验结果表明，该方法在现有 3D FSCIL 基准和我们的数据集上明显优于现有的最先进方法。

Abstract

few-shot class-incremental learning (FSCIL) aims to mitigate the catastrophic forgetting issue when a model is incrementally trained on limited data. While the contrastive vision-language pre-training (CLIP) mode

few-shot class-incremental learning incremental training contrastive vision-language pre-training redundant feature eliminator spatial noise compensator

发现论文，激发创造

基于视觉语言模型的少样本类增量学习

我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

May, 2024

多模态小样本类增量细粒度数据学习的简化方法

该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

Mar, 2024

Few-Shot 类增量学习调查

本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

Apr, 2023

预训练视觉与语言变形器是少样本增量学习者

本文介绍了一种名为 PriViLege 的新型 FSCIL 框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了 FSCIL 中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

Apr, 2024

增强的少样本逐类增量学习通过集合模型

通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

Jan, 2024

多模态参数高效的少样本类增量学习

本文提出了一种名为 CPE-CLIP 的参数高效持续学习方法，利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP 显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

Mar, 2023

使用预训练视觉转换器校准高阶统计量进行少样本类别增量学习

通过使用预训练模型和高阶特征统计，可以改善少样本增量学习中的分类准确度。

Apr, 2024

减少偏差的少样本递增学习

本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

Feb, 2024

无需训练的原型校准的少样本类增量学习

在 Few-Shot Class-Incremental Learning (FSCIL) 场景中，我们发现现有方法倾向于将新类别的样本错误地分类为基类别，导致新类别的性能表现较差。为了解决这一问题，我们提出了一种简单而有效的训练无关的校准策略（TEEN），通过将新类别的原型与加权基类别的原型相融合，以增强新类别的可区分性。在 FSCIL 标准基准测试中，TEEN 显示出出色的性能并在 few-shot learning 场景中持续改进。

Dec, 2023

开放集角度下的少样本类增量学习

本文探究 Few-Shot Class-Incremental Learning（FSCIL）这个重要任务及其数据稀缺性的极端条件，并提出了一种称为 Augmented Angular Loss Incremental Classification（ALICE）的模型来解决该问题。实验证明，相比于现有的 FSCIL 方法，ALICE 具有更好的性能。

Jul, 2022