本文研究了在训练数据稀缺的情况下，通过在较少的基础类别上进行微调，以改善少样本学习，探索了提取目标数据集更好特征的可能性，并提供了可在任何少样本解决方案中实施的简单且直观的方法。

Jan, 2024

本文提出一种新的 few-shot 学习方法，通过优化和快速适应查询样本的表示来改进 few-shot 分类，所提出的自适应注意力模型还能够解释分类模型所寻找的证据。在各种基准 few-shot 分类和精细识别数据集上，实验证明了所提出模型的分类结果达到了最先进水平。

Aug, 2020

本文研究了现代视觉系统的表现下降原因：监督学习时神经网络模型表示出现了监督崩溃现象，即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题：一是利用自监视学习以鼓励更通用的特征，二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers，可以用少量标记图像和无标记查询项，找到查询项与标记图像之间的粗略空间对应关系，从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器，证明了在 Meta-Dataset 上的最新成果。

Jul, 2020

本文提出了一种新颖的基于迁移学习的方法，旨在处理特征向量使其更接近高斯分布，加大分类准确性。同时，在具备未标注测试样本的传导式 few-shot 学习中，也提出了基于最优传输启示的算法以进一步提高性能。经过标准化的视觉基准测试，研究发现该方法可以在各种数据集、主干架构和少样本的情况下获得最先进的精度。

Oct, 2021

通过将输入样本分割成补丁，并借助 Vision Transformers 对其进行编码，从而在图像的局部区域之间建立语义对应关系，而不受其各自类别的影响。利用掩蔽图像建模等方法进行无监督训练，以克服标签不够精细以及避免负面的图像级注释影响，实现了对数据的更一般的统计结构的学习，并在四个流行的 Few-shot 分类基准测试中，对于 5-shot 和 1-shot 情形均取得了新的最优结果。

Jun, 2022

本文提出了一种称为 SetFeat 的方法，将现有特征提取器改为从图像中提取一组特征向量，进而实现更好地将基类的富表示性转移到 few-shot 类中。

Apr, 2022

本研究提出一种基于自注意力机制的特征重加权策略，实现在给定极少标注样本情况下进行元学习，大幅优于同类现有方法 3%~5%。

Mar, 2022

基于 Vision Transformer (ViT) 架构，本文提出了一种用于少样本学习的任务内互注意方法，通过交换支持集和查询集的类别标记与图像片段标记，实现了互注意，从而加强了类内表征，并促进了同一类别样本之间的相似性。与最先进的基准方法相比，在五个常见的少样本分类基准任务中，本文提出的框架在 5-shot 和 1-shot 情况下表现出的性能更好，同时具有简单、高效的计算能力。

May, 2024

本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

Jan, 2021

通过实验，本研究发现自监督学习在小类别图像识别中的迁移性、鲁棒性、效率及可补充性都超过了传统的少样本学习方法，并以 3.9% 的准确度优势取得了成功，因此需要更深入地研究自监督学习在少样本学习中的作用。

Oct, 2020