Dec, 2023

RankMatch: 一种基于标签相关性的半监督标签分布学习的新方法

PDF
TL;DR通过引入 RankMatch 方法，本文提出了一种创新的半监督标签分布学习 (SSLDL) 方法，可以在深度神经网络 (DNN) 应用中有效利用少量有标签的样本和大量无标签的数据，减少手动标记的需求。RankMatch 方法通过集成学习策略和弱增强图像的伪标签分布，稳定预测结果并增强模型的鲁棒性；同时，它还引入一种配对相关性排序的损失函数，捕捉标签之间的复杂关联，确保预测的标签分布与实际情况相符。我们还给出了 RankMatch 的理论泛化边界，并通过大量实验证明它在性能上优于现有的 SSLDL 方法。
rankmatchsemi-supervised label distribution learningensemble learningpseudo-label distributionpairwise relevance ranking
发现论文，激发创造
  • DualMatch：具有双层交互的鲁棒半监督学习

    提出了一种名为 DualMatch 的新型半监督学习方法，其中类别预测以双层交互方式调用特征嵌入，通过一致的正则化确保不同的增强视图受到一致的类别预测约束，并确保同一类别的不同数据具有类似的特征嵌入，实验证明了 DualMatch 的有效性。

    Oct, 2023

  • MixMatch: 半监督学习的整体方法

    本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

    May, 2019

  • SoftMatch: 半监督学习中解决数量 - 质量平衡问题

    本文介绍了基于样本加权统一公式的伪标签方法及其 inherent quantity-quality trade-off 问题，并提出了利用截断高斯函数对置信度加权以实现软的置信度阈值。加强了弱学习类别的利用，在图像分类、文本分类和非平衡分类等多种基准测试中都取得了显著的改进。

    Jan, 2023

  • MarginMatch: 利用伪边际改进半监督学习

    MarginMatch 是一种结合一致性正则化和伪标记的新的 SSL 方法，其主要创新在于使用无标签数据的训练动态来衡量伪标签的质量，以确保屏蔽低质量预测；在低数据情况下，MarginMatch 在四个视觉基准测试以及两个大规模数据集上都取得了显著的改进，并且在每类只有 25 个标签的 CIFAR-100 上提高了 3.25％的错误率，在每类只有 4 个标签的 STL-10 上提高了 3.78％的错误率。

    Aug, 2023

  • JointMatch: 一种用于半监督文本分类的多样化和协作伪标签统一方法

    提出了一种名为 JointMatch 的新方法，用于半监督文本分类，通过结合最近半监督学习和学习带有噪声任务的理念，解决了伪标签偏见和错误积累的问题。JointMatch 通过根据不同类别的学习状态自适应调整类别阈值，减轻了模型对当前容易类别的偏见。此外，JointMatch 通过利用两个初始化不同的网络以交互标记的方式互相教导，减轻了错误的积累问题。实验结果表明，JointMatch 在基准数据集上表现优越，在平均上提高了 5.13% 的性能。“尤其值得注意的是，即使在极度稀缺标签的情况下，JointMatch 在 AG News 上的准确率达到了 86%，每个类别仅有 5 个标签。我们将我们的代码发布在此 https URL。

    Oct, 2023

  • 平滑伪标签

    在半监督学习中，引入了一种平滑伪标签损失函数来解决标签稀缺性带来性能不稳定的问题，并通过实验验证了其在稀缺标签情况下的显著改善。此外，还提出了一个新的基准测试，在整个数据集中随机选择标记的图像，以改进半监督学习算法的可靠性和解释性。

    May, 2024

  • AlphaMatch：利用 Alpha 散度改善半监督学习的一致性

    AlphaMatch 是一种高效的半监督学习方法，利用数据增强实现标签一致性，通过 alpha-divergence 使高置信度的数据优先接受正则化，使用基于优化的 EM 算法作为一致性的实现方式，可以在标准数据集上取得更好的表现。

    Nov, 2020

  • 标签匹配半监督目标检测

    本篇论文从分布级别和实例级别两个不同但互补的视角提出了一个简单而有效的 LabelMatch 框架，用于解决自我训练期间存在的标签不匹配问题，并通过 Proposal Self-assignment 机制确定准确的伪标签来促进学生和教师之间的匹配。在 MS-COCO 和 PASCAL-VOC 数据集上的实验结果表明，所提出的框架明显优于其他现有方法。

    Jun, 2022

  • AdaMatch：一种半监督学习和域适应的统一方法

    介绍 AdaMatch 方法来统一无监督域自适应（UDA）、半监督学习（SSL）和半监督域自适应（SSDA）的任务，实现在一个数据分布上训练，在另一个数据分布上测试具有极高准确性的模型。实验结果表明，使用 AdaMatch 方法，无论是在哪个数据集或任务上，有标签还是无标签，其结果都能匹配或明显超过 SSL、SSDA 和 UDA 领域最先进的技术，而且仅使用相同的超参数即可。

    Jun, 2021

  • CoMatch：对比图正则化的半监督学习

    CoMatch 是一种新的半监督学习方法，它通过学习数据的两种表示（类概率和低维嵌入）相互作用来统一主流方法并解决其局限性，并在多个数据集上实现了最先进的性能。

    Nov, 2020