对比学习提高模型在标签噪声下的鲁棒性
提出了一种名为 CCSSL 的半监督学习方法,采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性,并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。
Mar, 2022
通过自监督对比学习,深度神经网络通过学习具有卓越的鲁棒性的表示矩阵来避免噪声标签造成的过拟合,并进一步证明通过对比学习预训练的深度神经网络具有低秩结构,这种结构可以帮助深度神经网络更好地适应噪声标签。
Jan, 2022
本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法,通过将 Cross Entropy 与 Reverse Cross Entropy 相结合,解决了在标签噪声存在下 CE 的过拟合与欠拟合问题,并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。
Aug, 2019
提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题,并设计了一种新型对比损失来引导学习网络嵌入样本,实现更好的边界决策能力,通过实验证明,与现有算法相比,该算法可提高分类准确率 5.3% 以上。
Feb, 2022
本文提出了一种基于对比度学习的语义分割训练策略,使用像素级和标签基础对比损失的方法,能够在减少标记数据的情况下提高性能,并通过 Cityscapes 和 PASCAL VOC 2012 数据集的实验证明了该方法的有效性。
Dec, 2020
通过引入 supervised contrastive prototyping learning 框架,可以提高 DNN 模型的鲁棒性和学习 nuance 不变性表示,在样本高效、不需要 sample mining 的情况下可以替代 softmax 分类器头,实现更好的干扰和样本鲁棒性。
Nov, 2022
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
提出了一个深度学习神经网络的标签检查和修正方法,该方法结合了小损失选择和噪声校正的思想,采用两个不同的网络来通过小损失选择方法训练,并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度,在真实和人工数据集上测试表明该方法优于基准方法。
Feb, 2022