干预式少样本学习

Sep, 2020

Interventional Few-Shot Learning

Zhongqi Yue, Hanwang Zhang, Qianru Sun, Xian-Sheng Hua

TL;DR通过构建因果模型，提出了一种新的干预式 Few-Shot 学习范式，与现有的 Fine-tuning 和 Meta-learning 等方法正交，可以显著提高它们的性能，在多个数据集上均取得新的 1-/5-shot 最新成果。

Abstract

We uncover an ever-overlooked deficiency in the prevailing few-shot learning (FSL) methods: the pre-trained knowledge is indeed a confounder that limits the performance. This finding is rooted from our causal assumption: a Structural Causal Model (SCM) for the causalities among the pre

few-shot learning structural causal model interventional few-shot learning backdoor adjustment state-of-the-art

发现论文，激发创造

LSFSL: 利用形状信息进行少样本学习

LSFSL improves the generalizability and robustness of few-shot learning models by incorporating relevant priors and addressing shortcut learning in deep neural networks.

Apr, 2023

从少数样本中推广：关于小样本学习的调查

本文在对 Few-Shot Learning 进行了深入的调研的基础上，选择使用三种视角：数据，模型，和算法来对 FSL 的方法进行分类，以提供未来研究的启示。

Apr, 2019

受限 Few-Shot 学习：类人低样本复杂度学习和非情节文本分类

本文提出了一种新的任务：约束的少样本学习（CFSL），介绍了一种基于 Cat2Vec 的 CFSL 方法，该方法使用类别对比损失，并受到模糊痕迹理论和原型理论等认知理论的启发。

Aug, 2022

视觉 - 语义对比对齐在小样本图像分类中的应用

本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

Oct, 2022

少样本全生命周期学习

本文提出了一种新的少样本生命周期学习方法，通过仅训练模型的部分参数来防止过拟合，同时最大程度上减少了灾难性遗忘，并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能，同时还证明了结合自我监督的方法可以显著提高模型性能。

Mar, 2021

Few-Shot 类增量学习调查

本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

Apr, 2023

基于视觉语言模型的少样本类增量学习

我们介绍了一种创新的 FSCIL 框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。

May, 2024

对比学习的少样本分类

本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

Sep, 2022

预训练视觉与语言变形器是少样本增量学习者

本文介绍了一种名为 PriViLege 的新型 FSCIL 框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了 FSCIL 中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

Apr, 2024

迈向绿色和人类智能：当代少样学习方法的综合调查

深度学习在数据资源和计算资源需求上的局限性使得其在许多数据受限的实际应用中不实用，而 Few-Shot Learning（FSL）旨在通过使其能够快速适应新学习任务来解决这些限制，并在最近几年取得了显著的增长。本综述提供了对该领域最新进展的全面概述，包括 FSL 的定义、与不同学习领域的关系、引入的新分类法以及经典和新领域中的实际应用。在最后，讨论了塑造该领域的最近趋势、突出挑战和有前景的未来研究方向。

Feb, 2024