推动简单管道在少样本学习中的极限：外部数据与微调的作用

CVPRApr, 2022

推动简单管道在少样本学习中的极限：外部数据与微调的作用

Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference

Shell Xu Hu, Da Li, Jan Stühmer, Minyoung Kim, Timothy M. Hospedales

TL;DR本研究通过使用神经网络架构、外部数据预训练和很少有标签的数据进行微调的三阶段流水线，探索了少样本学习的问题。研究发现，使用 transformer 的简单流水线在 Mini-ImageNet，CIFAR-FS，CDFSL 和 Meta-Dataset 等数据集上获取了惊人的表现。

Abstract

few-shot learning (FSL) is an important and topical problem in computer vision that has motivated extensive research into numerous methods spanning from sophisticated meta-learning methods to simple transfer learning baselines. We seek to push the limits of a simple-but-effective pipel

few-shot learning image classification neural network architecture pre-training transformer

发现论文，激发创造

如何以少量样本微调模型：更新，数据增强和测试时间增强

本研究基于转移学习方法探究预训练模型在少样本学习任务下的迁移，比较全微调和线性探测两种常用的更新方法，并研究数据增强和测试时间增强对少样本性能的影响。结果表明，针对不同的数据和任务性质选择不同的迁移和增强方法能提高多样性能。

May, 2022

干预式少样本学习

通过构建因果模型，提出了一种新的干预式 Few-Shot 学习范式，与现有的 Fine-tuning 和 Meta-learning 等方法正交，可以显著提高它们的性能，在多个数据集上均取得新的 1-/5-shot 最新成果。

Sep, 2020

LSFSL: 利用形状信息进行少样本学习

LSFSL improves the generalizability and robustness of few-shot learning models by incorporating relevant priors and addressing shortcut learning in deep neural networks.

Apr, 2023

Few-shot 适应在不确定数据中的应用

该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。

Aug, 2022

带噪声标签的小样本学习

介绍了在 few-shot learning（小样本学习）中应对 Label 干扰的技术方法，提出了一种基于 Transformer 的模型（TraNFS）和特征聚合方法，通过在嘈杂的数据集上的测试，验证了这些方法的有效性。

Apr, 2022

从少数样本中推广：关于小样本学习的调查

本文在对 Few-Shot Learning 进行了深入的调研的基础上，选择使用三种视角：数据，模型，和算法来对 FSL 的方法进行分类，以提供未来研究的启示。

Apr, 2019

少样本图像分类的基准线

这篇研究论文旨在通过优化跨熵损失训练深度网络，提出一种基准模型来解决 few-shot 学习问题，并通过使用更多的元训练类来提高准确性，同时提出衡量 few-shot 任务难度的度量标准。

Sep, 2019

元任务：元学习正则化的另一种视角

该论文提出了一种新颖的解决方案，可以在有限标注数据情况下，能够在训练和新任务中进行有效泛化，并利用未标注样本进行元任务实施未监督技术，实验结果表明该方法在新任务和训练任务中表现良好，并具有更快，更好的收敛性，较低的泛化和标准差误差，表明其在少样本学习中的潜在实际应用能力。该方法的实验结果超过了原型网络 3.9%。

Feb, 2024

视觉 - 语义对比对齐在小样本图像分类中的应用

本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

Oct, 2022

少样本全生命周期学习

本文提出了一种新的少样本生命周期学习方法，通过仅训练模型的部分参数来防止过拟合，同时最大程度上减少了灾难性遗忘，并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能，同时还证明了结合自我监督的方法可以显著提高模型性能。

Mar, 2021