Meta Pseudo Labels 是一种半监督学习方法，通过使用 teacher network 不断地改进 pseudo labels，进而精准地教授 student network，从而在 ImageNet 数据集上实现了 90.2% 的准确率提升，超过了现有最佳结果。

Mar, 2020

本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

Jan, 2020

本文提出了一种新的自学习框架用于无监督度量学习，该框架通过交替预测数据之间的类等价关系和利用预测的关系作为伪标签来学习模型。其中的算法能够有效地进行端到端的训练，因为它不需要伪标签的现成模块。通过在标准的度量学习基准上的表现，它明显优于现有的无监督学习方法，有时甚至比使用相同基础网络的监督学习模型更好。它也被应用于半监督的度量学习，并通过提高监督学习的性能，实现了现有最先进的表现。

May, 2022

本研究提出了一种名为 “Pseudo-supervised Contrast (PsCo)” 的无监督元学习框架，可以在少样本分类任务中改进伪标签并以渐进方式构建多样化的任务，实验证明该框架在各种领域和跨领域的少样本分类基准测试中表现优异。

Mar, 2023

该研究论文提出了 Meta Self-Refinement (MSR) 框架，用于有效地应对来自弱监督源的噪声标签，从而训练出噪声鲁棒性较强的深度神经网络模型。在八个自然语言处理基准测试中广泛实验，证明 MSR 在所有设置下都能够抵抗噪声，并且在准确率和 F1 分数上优于现有技术最多 11.4% 和 9.26%。

May, 2022

我们提出了一种新颖的自举元自我监督学习（BMSSL）框架来模拟人类学习过程，实现从少量无监督数据中学习一般视觉表征的长期目标。

Aug, 2023

论文提出了一种基于对比相似度而非类别标签的多类分类策略，称之为元分类学习，通过优化二元分类器以预测对比相似度从而实现多类分类，提出了概率图模型并衍生出一个简单的损失函数，用于学习基于神经网络的模型，并在监督、非监督跨任务和半监督设置下均取得了明显优于或与最先进方法相当的准确性。

Jan, 2019

本文提出了一种名为 MetaSRE 的方法，通过生成质量评估对伪标签进行元学习来降低噪声，同时采用伪标签选择和利用方案，仅以自我训练的方式利用高质量伪标签逐步增加标记样本以提高鲁棒性和准确性。在两个公共数据集上的实验结果表明了所提出方法的有效性。

Oct, 2020

本文提出了一种基于任务自适应伪标记的跨领域学习方法，通过标签传播从有标记的 support 集生成伪标签，进而有效地利用未标记的 query 集，相比归纳式学习方法，该方法在适应过程中能处理更多示例，从而提高模型的分类性能，实验证明该方法优于现有技术在少样本分类任务上的表现。

Apr, 2023

本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

Jan, 2023