Mar, 2021

自监督预训练：对比学习与差异学习在噪声标签下的比较

PDF
TL;DR提出了一种名为 Contrast to Divide (C2D) 的简单框架，使用自我监督的预训练来解决标签噪声的问题，并改善特征提取质量。实验结果表明，与现有方法相比，在高噪声环境下，C2D 对 CIFAR-100 提高了超过 27%，在现实噪声环境下，C2D 的性能优于之前的方法。
noisy labelsself-supervised learningfeature extractionc2dlnl
发现论文，激发创造
  • 划分与对比：自监督学习从未审查的数据中学习

    本文研究自监督学习在大规模数据集上的应用，提出了一种基于对比学习与聚类的硬负样本挖掘方法（DnC），在 less-curated 数据集上的预训练，可以显著提高自监督学习在后续任务上的表现效果，并与目前在高度筛选数据集上的最新水平保持竞争力。

    May, 2021

  • 截断 - 分离 - 对比：一种从错误标注视频中学习的框架

    本文提出了两种新的视频分析策略来处理噪声标签问题：一种基于特征的噪声标签检测轻量级通道选择方法，另一种构建干净与噪声实例关系以规范化模型训练的对比策略。实验结果表明，我们的方法在三个基准测试集上都优于现有基线，在 Mini-Kinetics 数据集上通过噪声对称 80％测试，噪声检测 F1-score 的提高率达到了 0.4％，分类准确度提高了 5％以上。

    Dec, 2022

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 从有噪标签的数据中进行深度自学习

    提出了一种新的深度自学习框架，用于在真实嘈杂的数据集上训练鲁棒性网络，无需额外的监督，并且与大多数现有方法不同，它不依赖于嘈杂标签分布的任何假设，具有更好的性能。

    Aug, 2019

  • DivideMix: 以半监督的方式学习有噪声标签

    提出了一种名为 DivideMix 的新型深度学习框架，通过利用半监督学习技术来将训练数据动态分成一个包含清晰样本的标记集合和一个包含噪声样本的未标记集合，并在半监督的方式下同时对标记与未标记数据进行训练，使用 MixMatch 策略在标记和未标记样本上分别执行标记共修整和标记共猜测以进行标签协同改进。在多个基准数据集上的实验显示出 DivideMix 比现有最先进的方法具有显着的改进。

    Feb, 2020

  • 基于通道的对比学习用于噪声标签学习

    通过通道对比学习方法，本文提出了一种新的学习方法，用于从嘈杂标签中提取关键特征，辨别真实的类别，并在多个基准数据集上验证了其卓越性能。

    Aug, 2023

  • 使用协作样本选择和对比半监督学习来学习带噪标签的内容

    利用 CLIP 模型的协作样本选择及预训练，并通过对 prompt 的微调以及协同训练 DNN 分类器，解决在学习有噪声标签的过程中由于样本选择错误累积导致的 DNN 训练偏见和泛化性能问题。

    Oct, 2023

  • 利用嵌入对受损图像数据集中的内部及外部噪声进行对比无监督特征聚类

    这篇研究使用无监督对比特征学习的方法来对网络图像进行检索，然后结合奇异谱嵌入和离群点敏感聚类来检测噪声和局外点，并训练噪声鲁棒的神经网络来纠正 ID 噪声和利用 OOD 样本进行引导对比学习，提高底层特征。

    Jul, 2022

  • 通过自注意力和自监督学习实现对标签噪音容忍的医学图像分类

    本文发明了一种噪声鲁棒训练方法，以应对医学图像分类中不可避免的标签噪声问题，其中包括对比学习和组内注意力 mixup 策略，并通过严格实验验证表明，该方法能够有效地处理标签噪声，并优于现有方法。

    Jun, 2023

  • 多变体划分混合：一种用于严重标签噪声的半监督对比学习框架

    本文提出了一种基于自监督训练的方法，通过利用所有训练数据的信息，为每个样本提取有意义且可泛化的嵌入空间，从而去除 out-of-distribution 样本，并使用迭代的 Manifold DivideMix 算法找到干净和有噪音的样本，以半监督的方式训练模型。此外，我们还提出了一种名为 MixEMatch 的半监督算法，其中包括在模型的输入和最终隐藏表示中进行 mixup 增强，通过在输入和流形空间进行插值提取更好的表示。对多个合成噪声图像基准和真实世界的网络爬取数据集进行的广泛实验证明了我们提出的框架的有效性。代码可在此 https URL 找到。

    Aug, 2023