自监督原型转移学习用于少样本分类

ICMLJun, 2020

自监督原型转移学习用于少样本分类

Self-Supervised Prototypical Transfer Learning for Few-Shot Classification

Carlos Medina, Arnout Devos, Matthias Grossglauser

TL;DR本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

Abstract

Most approaches in few-shot learning rely on costly annotated data related to the goal task domain during (pre-)training. Recently, unsupervised meta-learning methods have exchanged the annotation requirement for a reduction in few-shot classification performance. Simultaneously, in se

few-shot learning unsupervised meta-learning self-supervised learning transfer learning domain shift

发现论文，激发创造

无监督学习在少样本图像分类中的应用

本研究提出了一种自我监督学习的方法，以训练更通用的嵌入网络，可以在少样本的情况下实现更好的图像分类性能，即使在跨域情况下也表现出一定的鲁棒性。

Nov, 2019

ProtoDA: 少样本意图分类的高效迁移学习

该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

Jan, 2021

半监督少样本分类的元学习

本研究致力于发展一种在少量标记数据情况下对未标记数据进行分类的方法并提出一种新型 Prototypical Networks 和一种使用未标记数据的元学习算法来解实际问题，经过对 Omniglot、miniImageNet 和 ImageNet 进行实验，验证了这些算法可以使预测结果得到显著改进。

Mar, 2018

从未标注的图像中发现部件并进行数据增强的小样本学习

本文介绍了一种基于元学习的方法，通过学习无标签图像的传递特征来进行 few-shot 学习，同时采用了基于部分的自监督表示学习和部分增强策略来缓解数据稀缺引起的过度拟合问题，并在 miniImageNet 和 tieredImageNet 的基准测试中表现出优异的性能。

May, 2021

使用原型网络的半监督和主动少样本学习

本文提出了一种基于聚类的半监督少样本分类方法，使用 Prototypical Networks 提取特征并结合 K-means 聚类算法，利用少量标记样本指导聚类过程，而用户反馈可以显著改善适应性能。通过图像数据的实验，证明了该策略的良好性能。

Nov, 2017

自监督类感知几 - shot 分类

本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

Feb, 2022

自我监督元学习用于少样本自然语言分类任务

本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

自监督增强少样本学习的监督

本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

Jun, 2019

自监督知识蒸馏用于少样本学习

该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Jun, 2020

基於知識轉移的少樣本物體檢測

本文提出了一种基于少量样本和元学习的物体检测方法，使用原型知识转移和基于图的显式先验知识，验证了该方法在 PASCAL VOC 数据集上的有效性。

Aug, 2020