使用预训练视觉转换器校准高阶统计量进行少样本类别增量学习
提出一种名为C-FSCIL的架构,利用超维嵌入,对每个新的类别进行异构存储策略,解决了记忆约束,并通过一些新的损失函数,进一步提高了类向量表示的质量。在CIFAR100、miniImageNet和Omniglot数据集上的实验结果表明,C-FSCIL在几乎不用牺牲精度的情况下实现了很高的压缩比。
Mar, 2022
本文研究了 few-shot class-incremental learning (FSCIL) 问题,提出了一种基于规范化原型分类器的简单方法,名为 NoNPC,该方法适用于增量式新类别的识别,具有与先进算法相当的性能表现。
Jun, 2022
本文探究Few-Shot Class-Incremental Learning(FSCIL)这个重要任务及其数据稀缺性的极端条件,并提出了一种称为Augmented Angular Loss Incremental Classification(ALICE)的模型来解决该问题。实验证明,相比于现有的FSCIL方法,ALICE具有更好的性能。
Jul, 2022
本文从方法学、性能、应用等多个角度全面分析了最新的few-shot class-incremental learning(FSCIL)的进展,包括理论研究、性能评估和应用案例,针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题,提出了一种划分方法,将FSCIL分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域,并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。
Apr, 2023
Few-shot Class-Incremental Learning (FSCIL) is comprehensively reviewed, covering problem definition, challenges, general schemes, benchmark datasets, evaluation metrics, classification methods, object detection methods, and future research directions.
Aug, 2023
在Few-Shot Class-Incremental Learning (FSCIL)场景中,我们发现现有方法倾向于将新类别的样本错误地分类为基类别,导致新类别的性能表现较差。为了解决这一问题,我们提出了一种简单而有效的训练无关的校准策略(TEEN),通过将新类别的原型与加权基类别的原型相融合,以增强新类别的可区分性。在FSCIL标准基准测试中,TEEN显示出出色的性能并在few-shot learning场景中持续改进。
Dec, 2023
本文介绍了一种名为PriViLege的新型FSCIL框架,通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏,有效地解决了FSCIL中的遗忘和过拟合问题,并获得了明显优于现有方法的结果。
Apr, 2024
我们介绍了一种创新的FSCIL框架,利用语言正则化器和子空间正则化器,该框架不仅能够使模型拥抱有限数据的新类别,还能确保对基础类别的性能保持,通过在基础训练阶段利用视觉-语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。
May, 2024
通过引入新的评估指标 general average accuracy (gAcc) 和使用基于 gAcc 的面积曲线 (AUC) 总体度量,以及利用远距离层级的中间特征来改善特征的泛化能力,本研究提出了一个基于 Transformer 的 few-shot class-incremental learning (FSCIL) 框架,能够在不使用复杂网络设计或繁琐训练过程的情况下,优化 novel-class 的性能。
Jul, 2024
本文针对少样本类别增量学习(FSCIL)中的有限标注数据挑战,提出了一种基于协方差的空间正则化方法,以减少模型对新类的过拟合和旧类的遗忘。我们提出了一种协方差约束损失,强制模型学习相同协方差矩阵下的类分布,并通过扰动方法提高新类样本的分隔性。实验结果表明,该方法在FSCIL领域实现了新的最佳性能。
Nov, 2024