自监督知识蒸馏用于少样本学习

Jun, 2020

Self-supervised Knowledge Distillation for Few-shot Learning

Jathushan Rajasegaran, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Mubarak Shah

TL;DR该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Abstract

Real-world contains an overwhelmingly large number of object classes, learning all of which at once is infeasible. Few shot learning is a promising learning paradigm due to its ability to learn out of order distributions quickly with only a few samples. Recent works [7, 41] show that simply learning a good feature embedding can outperform more sophisticated

few-shot learning neural network self-supervision entropy maximization distillation

发现论文，激发创造

自监督增强少样本学习的监督

本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

Jun, 2019

自监督类感知几 - shot 分类

本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

Feb, 2022

通过自监督来增强少样本视觉学习

本文提出一种通过自我监督来改善少样本学习的方法，使特征提取器可以在使用少量带注释样本的同时学习更丰富和更具可转移性的视觉表征，该方法可以自然地扩展到从其他数据集中使用多样化的带标签数据的情况，并在各种架构，数据集和自我监督技术上实现了始终如一的改进。

Jun, 2019

知识蒸馏与自监督相遇

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

从未标注的图像中发现部件并进行数据增强的小样本学习

本文介绍了一种基于元学习的方法，通过学习无标签图像的传递特征来进行 few-shot 学习，同时采用了基于部分的自监督表示学习和部分增强策略来缓解数据稀缺引起的过度拟合问题，并在 miniImageNet 和 tieredImageNet 的基准测试中表现出优异的性能。

May, 2021

无监督自监督训练的小样本学习

本研究提出了一种基于自监督训练（UFLST）的无监督少样本学习方法，使用渐进聚类和情节训练进行训练以进一步优化数据的特征表示，并证明了该模型在几个基准数据集中的良好性能，包括 Omniglot 和 Mini-ImageNet。

Dec, 2019

无监督学习在少样本图像分类中的应用

本研究提出了一种自我监督学习的方法，以训练更通用的嵌入网络，可以在少样本的情况下实现更好的图像分类性能，即使在跨域情况下也表现出一定的鲁棒性。

Nov, 2019

正确绘制流形图：用于小样本学习的 Manifold Mixup

本文研究了 Manifold Mixup 在 few-shot 学习中的作用，并结合自监督学习和正则化技术，提出了一种名为 S2M2 的方法，显著提高了 few-shot 学习的性能，并在 CIFAR-FS、CUB、mini-ImageNet 和 tiered-ImageNet 等标准 Few-shot Learning 数据集上打破了当前最新的准确性记录。

Jul, 2019

少样本类别增量语义分割：伪标记和知识蒸馏

我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

Aug, 2023

自监督原型转移学习用于少样本分类

本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

Jun, 2020