鲁棒变换器方法的小样本增量学习

May, 2024

鲁棒变换器方法的小样本增量学习

Few-Shot Class Incremental Learning via Robust Transformer Approach

Naeem Paeedeh, Mahardhika Pratama, Sunu Wibirama, Wolfgang Mayer, Zehong Cao...

TL;DR在本研究中，提出了一种鲁棒的变换器方法（ROBUSTA）来解决少样本分类增量学习问题，其中利用随机分类器、稳定训练过程的批归一化层以及小任务特定可训练参数（delta parameters）来克服过拟合和遗忘问题，并通过非参数方法推断模型预测的 delta 参数。通过一系列实验验证了 ROBUSTA 在基准问题上的优势，且无需数据增强方法即可显著超越先前的方法。

Abstract

few-shot class-incremental learning presents an extension of the Class Incremental Learning problem where a model is faced with the problem of data scarcity while addressing the catastrophic forgetting problem. This problem remains an open problem because all recent works are built upo

few-shot class-incremental learning robust transformer approach stochastic classifier compact convolution transformer delta parameters

发现论文，激发创造

Few-shot 图像分类中的敌对鲁棒性简单方法

本文研究了如何使用转移学习训练鲁棒的少样本分类器，并提出了一种基于校准中心点的分类方法。我们证明，将标准对抗训练应用于基础类别，并结合针对新类别的校准中心点分类器，可以在少样本学习的标准基准测试中超越或与最先进的高级方法持平。我们的方法简单易用，易于扩展，几乎不需要额外的工作量就能使少样本分类器更加稳健。

Apr, 2022

少样本类增量学习

该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

Apr, 2020

明确学习和校准进行增量化通用少样本学习而无遗忘

本论文提出了一个三阶段框架来解决 Few-shot 学习中的挑战，包括学习新类别，避免基类的灾难性遗忘以及横跨新基类的分类器校准，通过在图像和视频少样本分类的四个基准数据集上的实验证明该框架达到了最先进的结果。

Aug, 2021

权重复制与低秩适应：视觉 Transformer 的少样本蒸馏

利用少样本的知识蒸馏方法来提取大规模预训练模型的知识，通过复制视觉变换器的权重并采用改进的低秩适应方法，将知识传输到学生模型中，并通过实证实验验证方法的优越性。

Apr, 2024

对抗性鲁棒少样本学习：一种元学习方法

本研究旨在开发 Adversarial Querying 算法以生成对小样本图像分类具有鲁棒性的元学习器，并比较其与迁移学习方式的性能表现，结果表明在 Mini-ImageNet 和 CIFAR-FS 等图像分类任务上，该方法具有远优于传统迁移学习方法的鲁棒表现。

Oct, 2019

EASY: Ensemble Augmented-Shot Y-shaped Learning: 使用简单成分的先进 Few-Shot 分类方法

本文提出了一种简单的方法，其几乎没有超参数或参数，并达到或甚至超过领域多个标准基准测试的性能，提供了一个新的基准，可以提出（并公平比较）新技术或改进现有方法。

Jan, 2022

PrototypeFormer: 学习探索原型关系进行少样本图像分类

本文提出了一种名为 PrototypeFormer 的方法，通过探索原型关系，显著改进了传统的少样本图像分类方法。该方法采用变压器架构构建原型提取模块，旨在提取更具有区分性的类别表示，以用于少样本分类。此外，在模型训练过程中，提出了一种基于对比学习的优化方法，以优化少样本学习场景下的原型特征。通过在几个流行的少样本图像分类基准数据集上实验，证明了本方法优于所有当前最先进的方法，特别是在 miniImageNet 的 5-way 5-shot 和 5-way 1-shot 任务上分别达到 97.07％和 90.88％，超过最先进方法分别 7.27％和 8.72％的精度。代码将在之后发布。

Oct, 2023

自我推进的原型细化算法用于少样本类别增量学习

提出了一种新的增量原型学习方案，其中包括自适应特征表示和自我推进的原型细化机制，通过动态关系投影模块来计算共享嵌入空间中的关系矩阵并将其作为引导原型更新的因素，经过三个基准数据集的广泛实验，表现优于现有的增量学习方法。

Jul, 2021

少样本图像分类的基准线

这篇研究论文旨在通过优化跨熵损失训练深度网络，提出一种基准模型来解决 few-shot 学习问题，并通过使用更多的元训练类来提高准确性，同时提出衡量 few-shot 任务难度的度量标准。

Sep, 2019

Few-Shot 类增量学习的子空间正则化器

本文提出了一种简单的机器学习方法，通过采用特定的子空间正则化方案，让新增类别的权重向量与现有类别的权重向量所构成的子空间尽量接近，实现了使用普通逻辑回归分类器进行少样本类别增量学习的目的，该方法在 miniImageNet 数据集上优于当前的前沿方法 22％，并可以直接扩展以包含有关新类的其他信息，进一步提高 2％的准确性。因此，简单的几何正则化类表示法是持续学习的有效工具。

Oct, 2021