基于少样本调整基础模型的类别递增学习
通过与用户的有限交互,为真实世界的应用而设计的机器人将需要不断学习其环境。本文结合了少样本类增量学习(FSCIL)和主动类选择(ACS)的思想,开发了一个新框架,使自主代理能够通过要求用户仅对环境中最富信息的少数对象进行标记来持续学习新对象。我们构建并扩展了一种最先进的 FSCIL 模型,并结合 ACS 文献中的技术,将其命名为少样本增量主动类选择(FIASco)模型。我们进一步将基于潜在场的导航技术与我们的模型集成,开发了一个完整的框架,可以使代理通过 FIASco 模型对其感知数据进行处理和推理,朝向环境中最富信息的对象导航,通过其传感器收集对象的数据,并逐步更新 FIASco 模型。在模拟代理和真实机器人上的实验结果显示了我们的方法对于长期的真实世界机器人应用的重要性。
Jul, 2023
本文提出了一种简单有效的学习方案,来解决 few-shot class-incremental learning 中平衡新任务的欠拟合和遗忘之前任务的挑战,并在 CUB200、CIFAR100 和 miniImagenet 数据集上展现了领先的性能。
May, 2023
Few-Shot Class-Incremental Learning (FSCIL) introduces the OrCo framework, which addresses challenges of catastrophic forgetting and data limitations during incremental sessions through features' orthogonality and contrastive learning, resulting in state-of-the-art performance across benchmark datasets.
Mar, 2024
本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法,通过激发映射能力、分别进行双特征分类和自优化分类器等步骤,显著减轻了模型偏差问题,并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。
Feb, 2024
本文通过一系列超过 1.8k 个控制实验,对少样本图像分类的 PEFT(参数效率微调)方法进行了大规模、实验一致的经验分析,发现只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法,成为 Vision Transformer 预训练模型最强大的微调方法。此外,对于自监督 ViTs,我们发现仅学习每个注意力矩阵的缩放参数和一个 Domain-residual adapter(DRA)模块即可实现无与伦比的性能表现,而模型可参数化程度更高。
Apr, 2023
通过设计新的集成模型框架与数据增强,以解决在少样本类别增量学习中的过拟合问题,并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合,同时整合自监督学习以进一步提高模型泛化能力,综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题,并且优于现有方法。
Jan, 2024
通过引入虚拟类别的概念,我们提出了一种基于语义感知的虚拟对比模型(SAVC),显著提高了基础类别的分类效果和新类别的泛化能力。
Apr, 2023
在 Few-Shot Class-Incremental Learning (FSCIL) 场景中,我们发现现有方法倾向于将新类别的样本错误地分类为基类别,导致新类别的性能表现较差。为了解决这一问题,我们提出了一种简单而有效的训练无关的校准策略(TEEN),通过将新类别的原型与加权基类别的原型相融合,以增强新类别的可区分性。在 FSCIL 标准基准测试中,TEEN 显示出出色的性能并在 few-shot learning 场景中持续改进。
Dec, 2023
提出了一种基于知识传递的关系补充网络(KT-RCNet)方法,使用多样的伪增量任务作为代理来实现知识传递,并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标,实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。
Jun, 2023
我们介绍了一种创新的 FSCIL 框架,利用语言正则化器和子空间正则化器,该框架不仅能够使模型拥抱有限数据的新类别,还能确保对基础类别的性能保持,通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。
May, 2024