Few-Shot 类增量学习的子空间正则化器

ICLROct, 2021

Few-Shot 类增量学习的子空间正则化器

Subspace Regularizers for Few-Shot Class Incremental Learning

Afra Feyza Akyürek, Ekin Akyürek, Derry Tanti Wijaya, Jacob Andreas

TL;DR本文提出了一种简单的机器学习方法，通过采用特定的子空间正则化方案，让新增类别的权重向量与现有类别的权重向量所构成的子空间尽量接近，实现了使用普通逻辑回归分类器进行少样本类别增量学习的目的，该方法在 miniImageNet 数据集上优于当前的前沿方法 22％，并可以直接扩展以包含有关新类的其他信息，进一步提高 2％的准确性。因此，简单的几何正则化类表示法是持续学习的有效工具。

Abstract

few-shot class incremental learning -- the problem of updating a trained classifier to discriminate among an expanded set of classes with limited labeled data -- is a key challenge for machine learning systems deployed in non-stationary environments. Existing approaches to the problem

few-shot class incremental learning logistic regression classifiers subspace regularization schemes image classification continual learning

发现论文，激发创造

基于视觉语言模型的少样本类增量学习

我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

May, 2024

用于元学习少样本分类的回归网络

本研究提出回归网络，用于解决少样本分类问题。该方法通过在类子空间中回归最近的近似点实现分类，使用回归误差作为距离度量，并将元学习引入到嵌入空间中。使用此简单归纳偏差的回归网络方法在有限数据情况下表现出色，特别是在能够用多个样本形成聚合类表示时。

May, 2019

拉普拉斯正则化少样本学习

本文提出了一种基于拉普拉斯正则化的推导式推理方法，用于 few-shot 任务中的图聚类，以支持来自支持集的监督性约束。实验结果表明，在五个 few-shot 学习基准测试中，LaplacianShot 方法具有显著优于现有方法的性能表现。

Jun, 2020

SRIL: 用于类增量学习的选择性正则化

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

少样本类增量学习

该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

Apr, 2020

自我推进的原型细化算法用于少样本类别增量学习

提出了一种新的增量原型学习方案，其中包括自适应特征表示和自我推进的原型细化机制，通过动态关系投影模块来计算共享嵌入空间中的关系矩阵并将其作为引导原型更新的因素，经过三个基准数据集的广泛实验，表现优于现有的增量学习方法。

Jul, 2021

明确学习和校准进行增量化通用少样本学习而无遗忘

本论文提出了一个三阶段框架来解决 Few-shot 学习中的挑战，包括学习新类别，避免基类的灾难性遗忘以及横跨新基类的分类器校准，通过在图像和视频少样本分类的四个基准数据集上的实验证明该框架达到了最先进的结果。

Aug, 2021

鲁棒变换器方法的小样本增量学习

在本研究中，提出了一种鲁棒的变换器方法（ROBUSTA）来解决少样本分类增量学习问题，其中利用随机分类器、稳定训练过程的批归一化层以及小任务特定可训练参数（delta parameters）来克服过拟合和遗忘问题，并通过非参数方法推断模型预测的 delta 参数。通过一系列实验验证了 ROBUSTA 在基准问题上的优势，且无需数据增强方法即可显著超越先前的方法。

May, 2024

关于少样本类增量学习的软子网络

提出了一种称为 SoftNet 的 few-shot 类增量学习方法，能够通过联合学习模型权重和自适应非二进制软掩码，在保留先前学习知识的同时，学习逐渐学习每个类别的几个示例，以解决此类问题，并超越基准数据集上的现有方法。

Sep, 2022

SimpleShot: 重新审视最近邻分类在少样本学习中的应用

本文主要研究了基于简单特征变换的最近邻分类器在 few-shot 学习上的精度，并发现在 miniImageNet 数据集中，使用平均值减法和 L2 归一化的最近邻分类器在三个设置上优于之前的结果。

Nov, 2019