ACLMay, 2019

基于单个实例的自然语言标注者可靠性建模

PDF
TL;DR本文提出了一种无监督的概率模型来处理二元和多类标签，自动评估每个标注者的实例可靠性和每个实例的正确标签。实验结果表明，该方法不仅可以准确评估不同实例上的标注者可靠性，而且在预测正确标签和检测最不可靠的标注者方面也能够实现优于现有技术的性能。
noisy labelsannotatorsper-instance reliabilityprobabilistic modelneural networks
发现论文，激发创造
  • 基于感知质量的模型训练在注释者标签不确定性下的应用

    本文研究了数据标注中的注释者标签不确定性对模型的泛化能力和预测不确定性的影响，并提出了一种基于感知质量的模型训练框架，通过生成多个标签来增强模型的可靠性。实验证明，使用该框架进行训练可以减轻注释者标签不确定性对模型泛化能力和预测不确定性的降低。

    Mar, 2024

  • 半监督学习中建模多个标注者的专业知识

    本文提出了一种概率半监督模型和算法，可以从多个注释者的标记数据中学习，并利用未标记数据，将注释者模型用于估计真实标记和注释者变量专业知识。对各种情况进行了数值比较，并表明了该方法优于不使用未标记数据的多注释者方法及不使用多标记者信息的方法。

    Mar, 2012

  • 多注释者深度学习：用于分类的概率框架

    我们提出了一个名为 MaDL 的概率训练框架，其中联合训练了一个基础真实模型和一个注释者模型来解决多注释者监督学习中存在的嘈杂标签问题，并获得了最先进的性能。

    Apr, 2023

  • 通过正则化评估注释者混淆来从嘈杂的标签中学习

    本文研究了如何解决多个注释器提供的有噪声的标签的问题，提出了一种同时学习个体注释器模型和真实标签分布的方法，并通过正则化项促进收敛于真实注释器混淆矩阵的方法，在图像分类任务上实验结果表明，该方法能够估计注释器的技能并表现出良好的性能。

    Feb, 2019

  • 预训练语言模型作为重新注释工具

    本文讲述了如何利用预训练语言模型降噪数据集，提出了两种任务：注释不一致检测和注释错误更正。作者使用新的可信度分数来检测不一致性，并用两种方法来更正注释。此外，通过重新注释创建了一个新数据集 Re-DocRED，自动降噪训练集将对关系抽取模型产生多达 3.6％的性能提高。

    May, 2022

  • 多标注者数据集的损失建模

    通过多任务学习和基于损失的标签修正，我们提出了一种学习多样化意见更准确表达的方法，并展示了该方法在单个或多个注释者注释情况下改善预测性能的能力，同时对主观数据应用的附加标签噪音也表现出鲁棒性。

    Nov, 2023

  • 追求基础事实：在注释器噪声存在的情况下学习自信模型并估计不确定性

    本文提出了一种与多个标注者的混淆有关的置信模型学习方法，通过对分类器网络添加熵或基于信息的正则化器来鲁棒地估计给定仅含有噪声标签的预测，并在 MNIST、CIFAR-10 和 FMNIST 等数据集上进行了实验，实验结果表明该方法在各项指标上均优于或与其他现有方法表现相当。

    Jan, 2023

  • 通过多位专家注释员提高医学图像分析中的物体检测：一项实证研究

    本研究探讨了在医学影像分析中利用机器学习算法进行异常检测的方法，重点讨论了算法的性能如何取决于标注者的数量和标签的质量。我们提出了一种简单有效的方法，通过聚合不同水平标注者的标注来解决单个标注者主观性标注的问题。通过估计多个标注的隐藏标签并使用重新加权的损失函数来提高检测性能，我们旨在提高异常检测任务中预测模型的效率。本研究在一个真实的医学影像数据集上进行了评估，并超越了不考虑标注者间差异的相关基线。

    Mar, 2023

  • 朝标签嵌入方向 -- 评估分类的难度

    对卫星影像的分类中，使用多个标记者的多次标记结果，通过贝叶斯方法中的 Dirichlet-Multinomial 模型，在 K 维空间中对标记结果进行嵌入，以解决不确定性量化和分类中的模糊性问题。

    Nov, 2023

  • 揭示多注释过程：以注释数量和样本难度对模型性能的影响为例

    多次注释数据集的性能分数可能会因数据集扩大，从单个注释变为多个注释而有所不同，我们的研究挑战了传统观念，表明使用多次注释的模型并不总能比使用少次或单次注释的模型具有更好的性能。

    Oct, 2023