Feb, 2024

具有先验知识的少样本类增量学习

PDF
TL;DR为了解决少样本类别增量学习中的灾难性遗忘和过拟合问题，我们提出了利用先验知识（LwPK）的方法，通过引入一些后续增量类别的未标记数据来增强预训练模型的泛化能力。我们使用无标签的增量类别样本进行聚类以产生伪标签，并与标记的基类样本一起进行联合训练，有效地为新旧类别数据分配嵌入空间。实验结果表明，LwPK 能够有效增强模型抵御灾难性遗忘的韧性，理论分析基于经验风险最小化和类别距离度量的操作原理得到了验证。LwPK 的源代码公开地可在 https://github.com/StevenJ308/LwPK 获取。
few-shot class-incremental learningcatastrophic forgettingoverfittingprior knowledgegeneralization ability
发现论文，激发创造
  • 预训练视觉与语言变形器是少样本增量学习者

    本文介绍了一种名为 PriViLege 的新型 FSCIL 框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了 FSCIL 中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

    Apr, 2024

  • 少样本类增量学习

    该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

    Apr, 2020

  • Few-Shot 类增量学习调查

    本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

    Apr, 2023

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 基于语义感知的少样本类别增量学习知识蒸馏

    本研究提出一种用于解决 few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在 MiniImageNet、CUB200 和 CIFAR100 数据集上创下了新的最优结果。

    Mar, 2021

  • 通过抽样多相任务进行少样本类增量学习

    本研究提出基于元学习的 LearnIng Multi-phase Incremental Tasks (LIMIT) 方法，合成假的 Few-shot Class-Incremental Learning 任务来建立分类特征空间，并基于 Transformer 构建校准模块，实现新类别的适应和对旧类别的防遗忘，该方法在多个数据集上实现了最好表现。

    Mar, 2022

  • 前向兼容的少样本类增量学习

    提出前瞻性培训方法（FACT）来应对少量类渐进学习的挑战，该方法通过为未来新类保留嵌入空间并预测可能的新类来保持前向兼容性，并使用虚拟原型来更好地整合新老类，得到了验证 FACT 的状态 -of-the-art 性能。

    Mar, 2022

  • 增强的少样本逐类增量学习通过集合模型

    通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

    Jan, 2024

  • 无需训练的原型校准的少样本类增量学习

    在 Few-Shot Class-Incremental Learning (FSCIL) 场景中，我们发现现有方法倾向于将新类别的样本错误地分类为基类别，导致新类别的性能表现较差。为了解决这一问题，我们提出了一种简单而有效的训练无关的校准策略（TEEN），通过将新类别的原型与加权基类别的原型相融合，以增强新类别的可区分性。在 FSCIL 标准基准测试中，TEEN 显示出出色的性能并在 few-shot learning 场景中持续改进。

    Dec, 2023

  • 基于视觉语言模型的少样本类增量学习

    我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

    May, 2024