迭代标签清理用于传导式和半监督式小样本学习

ICCVDec, 2020

迭代标签清理用于传导式和半监督式小样本学习

Iterative label cleaning for transductive and semi-supervised few-shot learning

Michalis Lazarou, Tania Stathaki, Yannis Avrithis

TL;DR本论文介绍了一种改进的算法，利用有标注数据和无标注数据的流形结构预测伪标签，在类之间平衡，并使用容量有限的分类器的损失值分布选择最干净的标签，以迭代方式改善伪标签的质量，从而在几个基准数据集上超越了现有技术结果，具有数据可用性与特征空间预处理的健壮性。

Abstract

few-shot learning amounts to learning representations and acquiring knowledge such that novel tasks may be solved with both supervision and data being limited. Improved performance is possible by transductive inference<

few-shot learning semi-supervised learning transductive inference pseudo-labels manifold structure

发现论文，激发创造

少样本类别增量语义分割：伪标记和知识蒸馏

我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

Aug, 2023

适用于少样本图像翻译的半监督学习

本文提出了一种半监督的方法，将少量的标记数据应用在源领域训练中，使用噪声容忍的伪标记过程进行半监督学习，并添加循环一致性约束来进一步利用未标记图像信息实现少量样本之间的图像转换。最终实验得到了优秀的结果，相较全监督方法减少了标记数据的要求。

Mar, 2020

课程标记：重新审视半监督学习中的伪标记

本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

Jan, 2020

利用无标签示例增强少样本图像分类

我们提出了一种用于少样本图像分类的传导元学习方法，结合了经过正则化的马氏距离软 k-means 聚类过程和修改后的最先进的神经自适应特征提取器来使用未标记数据提高测试时间分类准确性，我们在 Meta-Dataset、mini-ImageNet 和 tiered-ImageNet 基准测试上取得了最先进的性能。

Jun, 2020

标签传播用于深度半监督学习

本研究利用基于流形假设的传导标签传播方法，对整个数据集进行预测，并利用这些预测值为未标记数据生成伪标签，并训练深度神经网络。经实验证明，这种方法在几种数据集中相对于当前的最新技术表现更好，特别是在有限标志数量的情况下。

Apr, 2019

深度半监督学习中的伪标记和确认偏差

提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

Aug, 2019

自适应锚点标签传播用于转导式少样本学习

在本论文中，我们提出了一种新的算法，通过在流形中优化标记数据的特征嵌入来最小化可微损失函数，从而使我们的新算法 “自适应锚标签传播” 在 1-shot 和 5-shot 设置中分别比标准标签传播算法提高了 7% 和 2%。我们在四个广泛使用的 few-shot 基准数据集（miniImageNet，tieredImageNet，CUB 和 CIFAR-FS）和两个常用的主干网络（ResNet12 和 WideResNet-28-10）上提供了实验结果。该算法的源代码可在此 https URL 找到。

Oct, 2023

从未标注的图像中发现部件并进行数据增强的小样本学习

本文介绍了一种基于元学习的方法，通过学习无标签图像的传递特征来进行 few-shot 学习，同时采用了基于部分的自监督表示学习和部分增强策略来缓解数据稀缺引起的过度拟合问题，并在 miniImageNet 和 tieredImageNet 的基准测试中表现出优异的性能。

May, 2021

纯净半监督学习：在只有很少标记图像的情况下进行半监督学习

本文针对有限标注信息下的半监督学习进行研究，分析了当前应用最广的半监督学习方法 FixMatch 在这种情况下的表现和局限，提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案，并在 STL-10 数据集上得到了显著提高。

Dec, 2021

传导式少样本学习的现实评估

该研究探讨了在 few-shot 任务的查询集中引入任意类别分布（即类别不平衡）的影响，进一步提出一种基于 α-divergence 的损失函数，有效地处理了类分布变化，大幅提高了性能。

Apr, 2022