少样本增量学习的技巧集合
本文提出了一种基于分离学习策略的持续演化分类器(CEC)框架,该框架在每个增量会话中只更新分类器,从而避免了表示的知识遗忘问题,并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络,以解决少样本类别增量学习(FSCIL)的课程先决问题,实验结果表明该方法在 CIFAR100、miniImageNet和Caltech-USCD Birds-200-2011(CUB200)等基准数据集上表现出 remarkable 的优势。
Apr, 2021
本研究考虑了增量式少样本学习,解决了现有方法中存在的遗忘问题,并提出在原始阶段搜索基础任务的优化解来维持模型的良好性能。实验结果表明,这一方法优于现有状态-of-the-art方法,接近近似的最优结果。
Oct, 2021
本研究提出基于元学习的LearnIng Multi-phase Incremental Tasks (LIMIT)方法,合成假的Few-shot Class-Incremental Learning任务来建立分类特征空间,并基于Transformer构建校准模块,实现新类别的适应和对旧类别的防遗忘,该方法在多个数据集上实现了最好表现。
Mar, 2022
本文研究了 few-shot class-incremental learning (FSCIL) 问题,提出了一种基于规范化原型分类器的简单方法,名为 NoNPC,该方法适用于增量式新类别的识别,具有与先进算法相当的性能表现。
Jun, 2022
Few-shot Class-Incremental Learning (FSCIL) is comprehensively reviewed, covering problem definition, challenges, general schemes, benchmark datasets, evaluation metrics, classification methods, object detection methods, and future research directions.
Aug, 2023
在Few-Shot Class-Incremental Learning (FSCIL)场景中,我们发现现有方法倾向于将新类别的样本错误地分类为基类别,导致新类别的性能表现较差。为了解决这一问题,我们提出了一种简单而有效的训练无关的校准策略(TEEN),通过将新类别的原型与加权基类别的原型相融合,以增强新类别的可区分性。在FSCIL标准基准测试中,TEEN显示出出色的性能并在few-shot learning场景中持续改进。
Dec, 2023
为了解决少样本类别增量学习中的灾难性遗忘和过拟合问题,我们提出了利用先验知识(LwPK)的方法,通过引入一些后续增量类别的未标记数据来增强预训练模型的泛化能力。我们使用无标签的增量类别样本进行聚类以产生伪标签,并与标记的基类样本一起进行联合训练,有效地为新旧类别数据分配嵌入空间。实验结果表明,LwPK能够有效增强模型抵御灾难性遗忘的韧性,理论分析基于经验风险最小化和类别距离度量的操作原理得到了验证。LwPK的源代码公开地可在https://github.com/StevenJ308/LwPK获取。
Feb, 2024
针对视觉基础模型的少样本调优方面的类增量学习,我们提出了CoACT方法,通过异步对比调优、控制微调和一致性引导增量调优三个组成部分,有效提升了模型性能和鲁棒性。
May, 2024
通过引入新的评估指标 general average accuracy (gAcc) 和使用基于 gAcc 的面积曲线 (AUC) 总体度量,以及利用远距离层级的中间特征来改善特征的泛化能力,本研究提出了一个基于 Transformer 的 few-shot class-incremental learning (FSCIL) 框架,能够在不使用复杂网络设计或繁琐训练过程的情况下,优化 novel-class 的性能。
Jul, 2024