Nov, 2019

半监督学习中的负采样

PDF
TL;DR介绍了一种针对半监督学习的简单，快速，易于调整的算法 Negative Sampling in Semi-Supervised Learning（NS3L），该算法通过向现有的 SSL 算法 (如 Virtual Adversarial Training 和 MixMatch) 中添加 NS3L 损失函数，能够更好地提高模型性能和准确度，并在 CIFAR10，CIFAR100，SVHN 和 STL10 等基准数据集上得到验证。
negative samplingsemi-supervised learningvirtual adversarial trainingentropy minimizationmixmatch
发现论文，激发创造
  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023

  • 对抗对比自监督学习

    本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

    Feb, 2022

  • 基于插值的对比学习用于少标签半监督学习

    提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题，并设计了一种新型对比损失来引导学习网络嵌入样本，实现更好的边界决策能力，通过实验证明，与现有算法相比，该算法可提高分类准确率 5.3% 以上。

    Feb, 2022

  • 少样本零样本情境中的半监督学习

    我们通过引入额外的熵损失构建了一个分类器，用于对来自已知和未知类别的数据进行分类，从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明，我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限（每个类别 1-25 个标记示例）时，进步最为显著。

    Aug, 2023

  • 利用所有未标记数据提升半监督学习

    该论文提出两种新的技术（即熵值含义损失和自适应负样本学习），以更好地利用所有未标记的样本，并把它们与前沿的 FixMatch 框架相结合，通过多次实验在多个常见的 SSL 基准上表现出优越性能。

    Mar, 2023

  • 知识图谱表示学习负采样的综合分析

    本研究通过理论分析负采样损失函数协助超参数调整，以及为知识图谱嵌入（KGE）学习特别设计的负采样子抽样方法，为解决 KGE 中负采样损失函数中的超参数过多导致性能下降的问题提供了可能。同时，研究还提出，针对不同的得分方法，需要适当调整边缘项或负样本数量。通过实验分析得出，本研究的理论发现与实际训练的模型结果相符。

    Jun, 2022

  • 用虚拟对抗训练阶梯网络进行半监督学习

    基于分布平滑的半监督深度学习方法和梯度升级生成虚拟对抗训练方法被提出用于降低数据标签的高成本，两种方法被成功整合实现了接近监督准确度。

    Nov, 2017

  • 使用协作样本选择和对比半监督学习来学习带噪标签的内容

    利用 CLIP 模型的协作样本选择及预训练，并通过对 prompt 的微调以及协同训练 DNN 分类器，解决在学习有噪声标签的过程中由于样本选择错误累积导致的 DNN 训练偏见和泛化性能问题。

    Oct, 2023

  • 当硬负采样遇上监督对比学习

    提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

    Aug, 2023

  • 关于半监督学习在细粒度分类中的真实评估

    本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能，但相较于迁移学习仍然表现不足。此外，本文证明在迁移学习中，现有的半监督学习方法在存在不同类别数据时往往是有害的。因此，标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明，对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。

    Apr, 2021