SemPPL: 为获得更好的对比表示而预测伪标签
本研究提出了一种基于语义正例对集合（SPPS）的方法，它可以降低在表示学习期间丢失重要特征的风险，并在 ImageNet，STL-10 和 CIFAR-10 数据集上验证了该方法的可行性。
Jun, 2023
本文提出一种新算法，将半监督和主动学习相结合，通过用少量的有标签数据来训练分割算法。我们通过用自我训练方法替换半监督学习的平均教师方法，以处理带有噪声的标签，进一步增强神经网络的能力来查询有用的数据，从而实现了超越现有半监督方法的性能。在 CamVid 和 CityScapes 数据集上评估我们的方法，仅使用了 12.1% 和 15.1% 的标签数据，分别实现了 95% 以上的准确率。
Oct, 2022
通过对半监督语义分割进行对比学习取得了巨大突破，但是由于有限的注释，模型自身生成的无标签图像上的引导 inevitably 存在噪音，扰乱了无监督训练过程。为了解决这个问题，我们提出了一个强大的基于对比的 S4 框架，称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外，我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息，它在表示中即使存在噪声也是鲁棒的，并且承载着表示的类内差异。此外，我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
Feb, 2024
该研究介绍了一种称为伪多标签的方法，通过教师模型在单个正标签上训练，然后使用其预测作为标记数据来训练学生模型，以解决多标签图像分类中数据注释成本高的问题。研究表明，在实际的全标签数据上训练得到的模型性能可以近似于该方法训练得到的模型。
Jun, 2023
本文提出并证明：传统的无监督对比学习的标签裁定策略会降低图像检索的性能，本文的自标记策略包括自标记精炼器和动量混合，可以提高无监督对比学习的泛化性能和预测准确性，实验表明本文算法在 CIFAR10、ImageNet、VOC 和 COCO 数据集上有效。
Jun, 2021
本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。
Jan, 2020
半监督语义分割领域伪标签方法的综述，从不同角度分类并介绍了特定应用领域的具体方法，还探讨了伪标签技术在医学图像分割中的应用，并提出了一些可行的未来研究方向来解决现有挑战。
Mar, 2024
该论文提出了一种 Pseudo Contrastive Learning (PCL) 的通用框架，该框架通过生成可靠的对比对来解决生成高质量伪标签的问题，通过对负样本进行 dropout 来实现数据增强。 最终，实验证明该方法在五个真实世界的图上均优于其他普遍技术。
Feb, 2023
本文提出了基于 Pair Loss 和 MixMatch 技术的 SimPLE 算法，通过挖掘标记和未标记数据之间的关系，显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能，并在 CIFAR-10 和 SVHN 上达到了最新方法的水平。此外，SimPLE 算法还在迁移学习设置中优于预训练模型。
Mar, 2021