Jan, 2023

追求基础事实：在注释器噪声存在的情况下学习自信模型并估计不确定性

PDF
TL;DR本文提出了一种与多个标注者的混淆有关的置信模型学习方法，通过对分类器网络添加熵或基于信息的正则化器来鲁棒地估计给定仅含有噪声标签的预测，并在 MNIST、CIFAR-10 和 FMNIST 等数据集上进行了实验，实验结果表明该方法在各项指标上均优于或与其他现有方法表现相当。
deep learningnoisy labelinguncertainty estimationimage classificationsegmentation
发现论文，激发创造
  • 通过正则化评估注释者混淆来从嘈杂的标签中学习

    本文研究了如何解决多个注释器提供的有噪声的标签的问题，提出了一种同时学习个体注释器模型和真实标签分布的方法，并通过正则化项促进收敛于真实注释器混淆矩阵的方法，在图像分类任务上实验结果表明，该方法能够估计注释器的技能并表现出良好的性能。

    Feb, 2019

  • 医学图像分割中区分人类错误和基本事实

    本文提出了一种使用两个耦合的 CNN 从纯噪声观察中联合学习单个标注者的可靠性和真实分割标签分布的方法，该方法在三个公共医学影像分割数据集上表现良好，尤其是在注释数量较少且出现较大不一致性的情况下。

    Jul, 2020

  • 基于感知质量的模型训练在注释者标签不确定性下的应用

    本文研究了数据标注中的注释者标签不确定性对模型的泛化能力和预测不确定性的影响，并提出了一种基于感知质量的模型训练框架，通过生成多个标签来增强模型的可靠性。实验证明，使用该框架进行训练可以减轻注释者标签不确定性对模型泛化能力和预测不确定性的降低。

    Mar, 2024

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 数据无罪，模型有责：理解主观标注中的噪声与偏差

    研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学习的原因是传统的聚合模型在从主观任务中提取有用信号方面表现不佳。受最近一些研究表明从原始标注中学习的有效性的启发，我们研究了使用多个真实标准的分类方法。我们的实验显示在高度分歧实例上有置信度的提高。

    Mar, 2024

  • 自信学习：估计数据集标签的不确定性

    本研究提出了一种基于标签质量而非模型预测的学习方法 ——Confident Learning（CL），通过对数据进行剪枝、使用概率阈值计数来估算噪声，并对样本进行排序，以提高其置信度。我们基于假设类条件噪声过程直接估算了噪声标签和无污染标签之间的联合分布，提出了一种广义 CL，它是可证明一致和实验表现优异的。我们在不同类型数据上运用 CL，包括 MNIST 数据集、Amazon 评论库、以及 ImageNet 数据集的一些子集，结果表明 CL 可以清除不同类型数据中的噪声，提高模型准确性。

    Oct, 2019

  • 基于不确定性的噪声图像标签检测和重新标记

    本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法，该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。

    May, 2019

  • 多注释者深度学习：用于分类的概率框架

    我们提出了一个名为 MaDL 的概率训练框架，其中联合训练了一个基础真实模型和一个注释者模型来解决多注释者监督学习中存在的嘈杂标签问题，并获得了最先进的性能。

    Apr, 2023

  • 不确定基础真相下的 AI 系统评估：皮肤病学案例研究

    文章提出了一种新的框架，通过对可能性进行后验推理的方式来聚合多个标注者的标注结果，并提供了适用于不确定性的结果评估指标，使得评估模型更准确地反映了真实的预测能力。

    Jul, 2023