EMNLPOct, 2023

JointMatch: 一种用于半监督文本分类的多样化和协作伪标签统一方法

PDF
TL;DR提出了一种名为 JointMatch 的新方法，用于半监督文本分类，通过结合最近半监督学习和学习带有噪声任务的理念，解决了伪标签偏见和错误积累的问题。JointMatch 通过根据不同类别的学习状态自适应调整类别阈值，减轻了模型对当前容易类别的偏见。此外，JointMatch 通过利用两个初始化不同的网络以交互标记的方式互相教导，减轻了错误的积累问题。实验结果表明，JointMatch 在基准数据集上表现优越，在平均上提高了 5.13% 的性能。“尤其值得注意的是，即使在极度稀缺标签的情况下，JointMatch 在 AG News 上的准确率达到了 86%，每个类别仅有 5 个标签。我们将我们的代码发布在此 https URL。
发现论文，激发创造
  • MixMatch: 半监督学习的整体方法

    本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

    May, 2019

  • DualMatch：具有双层交互的鲁棒半监督学习

    提出了一种名为 DualMatch 的新型半监督学习方法，其中类别预测以双层交互方式调用特征嵌入，通过一致的正则化确保不同的增强视图受到一致的类别预测约束，并确保同一类别的不同数据具有类似的特征嵌入，实验证明了 DualMatch 的有效性。

    Oct, 2023

  • CoMatch：对比图正则化的半监督学习

    CoMatch 是一种新的半监督学习方法，它通过学习数据的两种表示（类概率和低维嵌入）相互作用来统一主流方法并解决其局限性，并在多个数据集上实现了最先进的性能。

    Nov, 2020

  • MarginMatch: 利用伪边际改进半监督学习

    MarginMatch 是一种结合一致性正则化和伪标记的新的 SSL 方法，其主要创新在于使用无标签数据的训练动态来衡量伪标签的质量，以确保屏蔽低质量预测；在低数据情况下，MarginMatch 在四个视觉基准测试以及两个大规模数据集上都取得了显著的改进，并且在每类只有 25 个标签的 CIFAR-100 上提高了 3.25％的错误率，在每类只有 4 个标签的 STL-10 上提高了 3.78％的错误率。

    Aug, 2023

  • 标签匹配半监督目标检测

    本篇论文从分布级别和实例级别两个不同但互补的视角提出了一个简单而有效的 LabelMatch 框架，用于解决自我训练期间存在的标签不匹配问题，并通过 Proposal Self-assignment 机制确定准确的伪标签来促进学生和教师之间的匹配。在 MS-COCO 和 PASCAL-VOC 数据集上的实验结果表明，所提出的框架明显优于其他现有方法。

    Jun, 2022

  • SimMatch: 带相似性匹配的半监督学习

    本文提出了一种新的半监督学习框架 SimMatch，该框架同时考虑语义相似性和实例相似性，并通过一致性正则化将这两种相似性转换为更可靠的匹配目标，实现了半监督学习任务的性能提升，特别是在 ImageNet 数据集上，1％和 10％标记示例的 Top-1 准确率均显着优于基线方法和以前的半监督学习框架。

    Mar, 2022

  • 半约束聚类的约束匹配

    本文提出了一种半监督背景下的约束聚类模型 ConstraintMatch，通过使用没有约束的数据和伪约束机制解决了伪标签的确认偏差问题，并采用新的伪标签方法选择信息量高的无约束样本，从而实现了半约束模型训练。作者在多项实验中验证了 ConstraintMatch 在常规聚类和过聚类场景中的有效性，并对其多个组成部分进行了分析。

    Nov, 2023

  • AllMatch: 充分利用所有未标记数据进行半监督学习

    现有的半监督学习算法采用伪标记和一致性调节技术来引入未标记样本的监督信号。本文通过对未标记数据的预测来估计模型的学习状态，并提出了一种基于类别的自适应阈值机制，同时设计了一种二元分类一致性调节方法来区分未标记样本中的候选类别。通过结合上述策略，我们提出了一种名为 AllMatch 的新型 SSL 算法，其改进了伪标记准确性并实现了未标记数据的 100% 利用率。我们在多个基准数据集上广泛评估了我们的方法，包括平衡和不平衡设置。结果表明，AllMatch 始终优于现有的最先进方法。

    Jun, 2024

  • SoftMatch: 半监督学习中解决数量 - 质量平衡问题

    本文介绍了基于样本加权统一公式的伪标签方法及其 inherent quantity-quality trade-off 问题，并提出了利用截断高斯函数对置信度加权以实现软的置信度阈值。加强了弱学习类别的利用，在图像分类、文本分类和非平衡分类等多种基准测试中都取得了显著的改进。

    Jan, 2023

  • RankMatch: 一种基于标签相关性的半监督标签分布学习的新方法

    通过引入 RankMatch 方法，本文提出了一种创新的半监督标签分布学习 (SSLDL) 方法，可以在深度神经网络 (DNN) 应用中有效利用少量有标签的样本和大量无标签的数据，减少手动标记的需求。RankMatch 方法通过集成学习策略和弱增强图像的伪标签分布，稳定预测结果并增强模型的鲁棒性；同时，它还引入一种配对相关性排序的损失函数，捕捉标签之间的复杂关联，确保预测的标签分布与实际情况相符。我们还给出了 RankMatch 的理论泛化边界，并通过大量实验证明它在性能上优于现有的 SSLDL 方法。

    Dec, 2023