LaplaceConfidence:一种基于图的噪声标签学习方法
本研究提出了一种基于标签质量而非模型预测的学习方法 ——Confident Learning(CL),通过对数据进行剪枝、使用概率阈值计数来估算噪声,并对样本进行排序,以提高其置信度。我们基于假设类条件噪声过程直接估算了噪声标签和无污染标签之间的联合分布,提出了一种广义 CL,它是可证明一致和实验表现优异的。我们在不同类型数据上运用 CL,包括 MNIST 数据集、Amazon 评论库、以及 ImageNet 数据集的一些子集,结果表明 CL 可以清除不同类型数据中的噪声,提高模型准确性。
Oct, 2019
该研究介绍了一种利用特征空间中训练样例的相似性,鼓励每个样例预测与其最近邻居相似的学习方法,用于从带有噪声标签的数据中学习,并且在多个数据集上展现出良好的分类精度。
Feb, 2022
本文提出了一种新的通过过滤标签噪声来提高深度神经网络性能的方法,该方法与大多数现有方法依赖于噪声分类器的后验概率不同,它聚焦于潜在表示空间中数据的空间行为,并通过利用数据的高阶拓朴信息来收集大部分干净的数据,理论上证明了这种拓扑方法保证采集高度清洁的数据,实证结果表明,该方法优于现有技术,并且对多种噪声类型和级别具有鲁棒性。
Dec, 2020
基于消息传递机制的图神经网络在图分类任务中取得了先进的结果,然而,在训练数据中存在噪声标签时,它们的泛化性能会下降。本文从数据隐私和模型效用的角度来衡量噪声标签对图分类的影响,发现噪声标签会降低模型的泛化性能,并增强对图数据隐私的成员推理攻击能力。因此,我们提出了一种针对有噪声标签的图分类的鲁棒图神经网络方法。该方法通过高置信度样本和每个类别的第一个特征主成分向量精确过滤噪声样本,然后利用鲁棒主成分向量和数据增强下的模型输出来指导双重空间信息引导的噪声标签校正。最后,引入监督图对比学习来增强模型的嵌入质量并保护训练图数据的隐私。通过在八个真实图分类数据集上比较十二种不同方法,验证了所提方法的效用和隐私性,与最先进的方法相比,在 30% 的噪声标签比率下,RGLC 方法分别实现了最大 7.8% 和最小 0.8% 的性能提升,并将隐私攻击的准确率降低到 60% 以下。
Jun, 2024
本研究提出了一种无标签学习的新方法,将区间估计引入了样本选择过程,以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据,提高了误标噪声下的学习鲁棒性。
Jun, 2021
通过检查训练过程中的预测一致性,我们提出了一种自信度评估方法,用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数,并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中,我们的方法实现了自信度评估的最新性能。此外,我们通过一个下游主动学习任务展示了所提方法的好处。
Jul, 2023
该论文提出了一种新的框架,利用局部图神经网络和基于置信度的路径调度器,可以在大规模真实数据上可靠地传播标签,同时有效地处理异常值和复杂的图结构。在 ImageNet 和 Ms-Celeb-1M 数据集上的实验证明了该方法的有效性。
Jul, 2020
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
使用软标签进行学习在模型泛化、校准和鲁棒性方面表现更好。本文提出了一种称为置信度差异分类的弱监督二分类问题,并提出了一种风险一致的方法来解决该问题。通过大量的实验证明了该方法在利用置信度差异的监督信息方面的有效性。
Oct, 2023