基于语义感知的少样本类别增量学习知识蒸馏
本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning(FSCIL)的进展,包括理论研究、性能评估和应用案例,针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题,提出了一种划分方法,将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域,并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。
Apr, 2023
Few-shot Class-Incremental Learning (FSCIL) is comprehensively reviewed, covering problem definition, challenges, general schemes, benchmark datasets, evaluation metrics, classification methods, object detection methods, and future research directions.
Aug, 2023
我们介绍了一种创新的 FSCIL 框架,利用语言正则化器和子空间正则化器,该框架不仅能够使模型拥抱有限数据的新类别,还能确保对基础类别的性能保持,通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。
May, 2024
该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习,并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题,实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。
Apr, 2020
通过设计新的集成模型框架与数据增强,以解决在少样本类别增量学习中的过拟合问题,并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合,同时整合自监督学习以进一步提高模型泛化能力,综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题,并且优于现有方法。
Jan, 2024
本文提出了一种基于分离学习策略的持续演化分类器(CEC)框架,该框架在每个增量会话中只更新分类器,从而避免了表示的知识遗忘问题,并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络,以解决少样本类别增量学习(FSCIL)的课程先决问题,实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011(CUB200)等基准数据集上表现出 remarkable 的优势。
Apr, 2021
本文提出了一种解决 few-shot class-incremental learning 问题的方法,使用深度字典学习和视觉表示学习相结合的混合学习架构,同时在基础阶段优化字典和特征提取,而只在增量阶段对字典进行优化以适应新的类别,同时在基础训练中加入多个伪类以便未来新概念的适应。经过实验验证,该方法有效性得到了证实。
May, 2023
本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法,通过激发映射能力、分别进行双特征分类和自优化分类器等步骤,显著减轻了模型偏差问题,并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。
Feb, 2024
该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战,并在新引入的细粒度数据集上实验结果表明,相比基准模型平均提高了 10 个百分点,而所需的可训练参数少至 8 倍。
Mar, 2024
提出了一种基于知识传递的关系补充网络(KT-RCNet)方法,使用多样的伪增量任务作为代理来实现知识传递,并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标,实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。
Jun, 2023