Sep, 2023

大模型驱动的少样本持续学习

PDF
TL;DR在这项工作中，我们提出了一种新颖的大模型驱动的少样本迭代学习（B-FSCL）框架，通过借鉴世界上的大模型（如人类累积知识）的强大编码能力，逐步演化模型，以提高持续模型的适应能力，并优化参数，实现自适应蒸馏的大模型的知识信息。经过在三个流行数据集上的实验验证，我们提出的 B-FSCL 完全超过了所有最先进的 FSCL 方法。
few-shot continual learningbig-model driventransfer learningadaptive decision mechanismadaptive distillation
发现论文，激发创造
  • Few-Shot 类增量学习调查

    本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

    Apr, 2023

  • 持续进化的分类器用于小样本增量学习

    本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

    Apr, 2021

  • 多模态参数高效的少样本类增量学习

    本文提出了一种名为 CPE-CLIP 的参数高效持续学习方法，利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP 显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

    Mar, 2023

  • 增强的少样本逐类增量学习通过集合模型

    通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

    Jan, 2024

  • 少样本全生命周期学习

    本文提出了一种新的少样本生命周期学习方法，通过仅训练模型的部分参数来防止过拟合，同时最大程度上减少了灾难性遗忘，并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能，同时还证明了结合自我监督的方法可以显著提高模型性能。

    Mar, 2021

  • CBCL-PR：一种在机器人领域实现逐类增量学习的认知启发模型

    通过受海马体和新皮质概念学习理论启发，我们提出了一种新颖的框架来解决小样本类递增学习的问题，在两个对象分类数据集上评估了框架的性能，结果显示其具有类递增学习和小样本类递增学习的最新技术水平，并通过在机器人上演示表明我们的框架在有限的人类辅助下能够持续学习对大量家居物品进行分类。

    Jul, 2023

  • 受限的少样本类增量学习

    提出一种名为 C-FSCIL 的架构，利用超维嵌入，对每个新的类别进行异构存储策略，解决了记忆约束，并通过一些新的损失函数，进一步提高了类向量表示的质量。在 CIFAR100、miniImageNet 和 Omniglot 数据集上的实验结果表明，C-FSCIL 在几乎不用牺牲精度的情况下实现了很高的压缩比。

    Mar, 2022

  • 减少偏差的少样本递增学习

    本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

    Feb, 2024

  • 基于视觉语言模型的少样本类增量学习

    我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

    May, 2024

  • 少样本类增量学习

    该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

    Apr, 2020