利用基于分布的特征回放学习增量少样本分类
本文提出了一种名为CPE-CLIP的参数高效持续学习方法,利用CLIP预训练阶段获取的丰富知识和泛化能力实现类别学习,其结果表明,相比现有方法,CPE-CLIP显著提高了少样本类别增量学习的性能,同时也大大减少了可学习参数和训练成本。
Mar, 2023
本文从方法学、性能、应用等多个角度全面分析了最新的few-shot class-incremental learning(FSCIL)的进展,包括理论研究、性能评估和应用案例,针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题,提出了一种划分方法,将FSCIL分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域,并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。
Apr, 2023
本论文提出了一种检索增强的提示学习方法(RePrompt),通过引入检索机制来对下游任务进行知识表示的缓存,该方法在15个视觉数据集上进行了广泛实验,包括11个在少样本设置下的下游任务和4个域泛化基准,在处理领域差异增加时取得了明显的改进。
Jun, 2023
使用Contrastive Language-Image Pre-training (CLIP)模型的泛化能力,我们提出了一种创新的FSCIL训练框架,通过为输入图像创建针对图像对象特定属性(如翅膀或轮胎)而非背景的IOS分类器来解决增量会话中编码器表现不佳的问题。通过特定设计的模块利用关键提示对IOS分类器进行编码,以找到每个会话中类别的IOS特征,从而始终保留先前的知识并快速适应新的会话,而不会遗忘或过拟合,在miniImageNet、CIFAR100和CUB200数据集上的实验证明了我们方法相对于最先进方法的优越性能,并通过额外实验验证了我们所学模型实现IOS分类器的能力,并进行了消融研究以分析架构中每个模块的影响。
Sep, 2023
在这篇论文中,我们提出了一种名为Prompt Learning for FSCIL(PL-FSCIL)的新方法,它利用了信息提示和预训练视觉转换器(ViT)模型的能力来有效解决Few-Shot Class-Incremental Learning(FSCIL)所面临的挑战。这项工作首次在FSCIL中使用了视觉提示,具有明显的简单性。PL-FSCIL由两个不同的提示组成:域提示和FSCIL提示,它们通过嵌入到ViT模型的注意层中来增强模型的性能。我们在CIFAR-100和CUB-200等广泛使用的基准数据集上验证了PL-FSCIL的有效性,结果展示了竞争性能,凸显了其在缺乏高质量数据的实际应用中的潜力。
Jan, 2024
在这篇论文中,我们介绍了一种无监督域提示蒸馏框架,通过使用未标记的领域图像进行提示驱动的模仿,旨在将更大的教师模型的知识转移给轻量级目标模型。
Mar, 2024
该研究提出了两个简单的模块来解决Vision-Language模型在少样本类增量学习方面的挑战,并在新引入的细粒度数据集上实验结果表明,相比基准模型平均提高了10个百分点,而所需的可训练参数少至8倍。
Mar, 2024
Attention-aware Self-adaptive Prompt (ASP) is a novel framework for Few-Shot Class-Incremental Learning (FSCIL), which prevents overfitting on base tasks and outperforms state-of-the-art methods in learning new classes and mitigating forgetting.
Mar, 2024
本文介绍了一种名为PriViLege的新型FSCIL框架,通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏,有效地解决了FSCIL中的遗忘和过拟合问题,并获得了明显优于现有方法的结果。
Apr, 2024