Dec, 2023

耦合混淆纠正：从带有稀疏注释的众包中学习

PDF
TL;DR采用耦合混淆校正的方法对众包注释进行学习，通过双层优化，使模型能够更好地校正系统学习到的混淆矩阵，同时根据注释者群体的相似性进行聚类，从而更好地捕捉注释者的专业知识，特别是对于很少提供标签的注释者。此外，使用 Beta 分布来生成众包注释，以使合成注释与真实世界的注释更一致。大量实验表明，该方法明显优于现有的方法。
crowd-sourcinglabel noiseannotator expertisecoupled confusion correctionsynthetic crowd-sourcing labels
发现论文，激发创造
  • 通过生成增强改进众包学习

    本文研究了如何使用数据增强处理众包数据中的稀疏性问题，特别地，我们提出了使用生成对抗网络来直接学习分类器，以解决存在于众包数据中的标注不足问题。在三个现实世界数据集上进行的广泛实验和与当前最先进的众包学习方法的比较证明了我们的数据增强框架的有效性，展示了我们算法在低成本众包中的潜力。

    Jul, 2021

  • 通过建立共同混淆模型学习众包数据

    本文提出了一种新的众包模型，通过对每个实例和注释者的难度和能力进行分析，将注释噪声分解为公共噪声和个体噪声，并使用两种噪声自适应层实现端到端的学习解决方案来识别每个注释中的噪声来源。

    Dec, 2020

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 贝叶斯非参数众包

    本研究旨在提出两种基于中华餐厅过程 (CRP) 先验概率和分层结构的全新无监督模型，以更好地处理众包数据标注中用户注释的质量问题，并利用 Gibbs 采样的高效推理算法对其进行实验验证。

    Jul, 2014

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017

  • 众包标签深度学习：交叉熵最小化、可识别性和正则化

    本文提出了一种基于深度学习的端到端系统，利用嘈杂的众包标签，通过多个注释器特定的 label confusion 层和参数耦合的方式，与神经分类器同时学习标签纠正机制，并提出了 CCEM 的正则化变种，以增强目标模型参数的可识别性。

    Jun, 2023

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 从人群的序列注释中学习模糊性

    该研究提出了一种名为 LA-SCA 的框架，利用序列注释中的专家间的互相不一致性来探索不确定性和歧义，从而有效地保留混淆标签信息。通过建立层次贝叶斯模型来从人群中推断出真实数据并将相对可靠的标注者分组，计算可靠标注者之间的互相不一致性来获取标签混淆信息，并在成本敏感的序列标注中加以应用。实验结果表明，该框架在从人群中推断真实数据、预测未知序列和揭示具有相似可靠性的标注者的标注模式方面均表现出竞争力。

    Jan, 2023

  • 清洗或标注：如何使用有限的数据采集预算

    本文提出了一种通过在注释过程中专门清理高概率错误样本的方法，以优化注释过程，并在三种模型变化和四个自然语言处理任务上进行的实验证明，该方法在分配相同的有限注释预算时优于聚合注释和高级去噪方法。

    Oct, 2021