Sep, 2023

图像-物体特定提示学习用于少样本类增量学习

HTML
PDF
TL;DR使用Contrastive Language-Image Pre-training (CLIP)模型的泛化能力，我们提出了一种创新的FSCIL训练框架，通过为输入图像创建针对图像对象特定属性（如翅膀或轮胎）而非背景的IOS分类器来解决增量会话中编码器表现不佳的问题。通过特定设计的模块利用关键提示对IOS分类器进行编码，以找到每个会话中类别的IOS特征，从而始终保留先前的知识并快速适应新的会话，而不会遗忘或过拟合，在miniImageNet、CIFAR100和CUB200数据集上的实验证明了我们方法相对于最先进方法的优越性能，并通过额外实验验证了我们所学模型实现IOS分类器的能力，并进行了消融研究以分析架构中每个模块的影响。
发现论文，激发创造
  • 多模态参数高效的少样本类增量学习

    本文提出了一种名为CPE-CLIP的参数高效持续学习方法，利用CLIP预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

    Mar, 2023

  • Few-Shot类增量学习调查

    本文从方法学、性能、应用等多个角度全面分析了最新的few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将FSCIL分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

    Apr, 2023

  • 少样本类别增量学习综述

    Few-shot Class-Incremental Learning (FSCIL) is comprehensively reviewed, covering problem definition, challenges, general schemes, benchmark datasets, evaluation metrics, classification methods, object detection methods, and future research directions.

    Aug, 2023

  • 利用基于分布的特征回放学习增量少样本分类

    利用视觉-语言模型(CLIP)并结合学习提示和基于分布的特征重放的方法(LP-DiF)，在少样本类别增量学习问题上取得了最先进的结果(SOTA)。

    Jan, 2024

  • PL-FSCIL: 利用提示的能力进行少样本类递增学习

    在这篇论文中，我们提出了一种名为Prompt Learning for FSCIL（PL-FSCIL）的新方法，它利用了信息提示和预训练视觉转换器（ViT）模型的能力来有效解决Few-Shot Class-Incremental Learning（FSCIL）所面临的挑战。这项工作首次在FSCIL中使用了视觉提示，具有明显的简单性。PL-FSCIL由两个不同的提示组成：域提示和FSCIL提示，它们通过嵌入到ViT模型的注意层中来增强模型的性能。我们在CIFAR-100和CUB-200等广泛使用的基准数据集上验证了PL-FSCIL的有效性，结果展示了竞争性能，凸显了其在缺乏高质量数据的实际应用中的潜力。

    Jan, 2024

  • 多模态小样本类增量细粒度数据学习的简化方法

    该研究提出了两个简单的模块来解决Vision-Language模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了10个百分点，而所需的可训练参数少至8倍。

    Mar, 2024

  • 预训练视觉与语言变形器是少样本增量学习者

    本文介绍了一种名为PriViLege的新型FSCIL框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了FSCIL中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

    Apr, 2024

  • 使用预训练视觉转换器校准高阶统计量进行少样本类别增量学习

    通过使用预训练模型和高阶特征统计，可以改善少样本增量学习中的分类准确度。

    Apr, 2024

  • 基于视觉语言模型的少样本类增量学习

    我们介绍了一种创新的FSCIL框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉-语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

    May, 2024

  • 基于协方差的空间正则化用于少样本类别增量学习

    本文针对少样本类别增量学习(FSCIL)中的有限标注数据挑战，提出了一种基于协方差的空间正则化方法，以减少模型对新类的过拟合和旧类的遗忘。我们提出了一种协方差约束损失，强制模型学习相同协方差矩阵下的类分布，并通过扰动方法提高新类样本的分隔性。实验结果表明，该方法在FSCIL领域实现了新的最佳性能。

    Nov, 2024