WWWFeb, 2019

大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

PDF
TL;DR本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。
crowd-sourcingmachine learningtruth inferenceannotation aggregationbayesian graphical model
发现论文，激发创造
  • 用于在线部署适用的真实推断算法验证数据集

    通过收集真实世界众包平台上的大量数据样本，本文分析了数据集的特征并评估了几种代表性真实标签推断算法的有效性，为跟踪不同类型任务下工作者的能力随时间变化以及增强在线真实标签推断提供了启示。

    Mar, 2024

  • 贝叶斯非参数众包

    本研究旨在提出两种基于中华餐厅过程 (CRP) 先验概率和分层结构的全新无监督模型，以更好地处理众包数据标注中用户注释的质量问题，并利用 Gibbs 采样的高效推理算法对其进行实验验证。

    Jul, 2014

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 众包标注群体真相的经验方法学

    本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

    Sep, 2018

  • 高效在线众包任务与复杂注释

    在线众包平台的真实性发现算法在聚合多个标注人的注释时起着重要作用，本论文提出了一种适用于在线众包环境的新方法，能够在有效平衡成本（即标注数量）和注释质量的同时，对一般复杂注释（如边界框和分类路径）进行推断，该方法以 label 者的准确度为线性期望平均相似度，经过对 Meta 真实众包数据的广泛评估后，展示了我们提出的在线算法在改善成本 - 质量权衡方面的有效性。

    Jan, 2024

  • 一种基于贝叶斯方法的众包序列标注技术

    本研究提出了一种用于聚合序列标记的贝叶斯方法，该方法通过对注释者的误差和模拟注释的困难度进行建模，有效地减少了常见的跨度注释错误。 通过在命名实体识别，信息抽取和论证挖掘方面进行 crowdsourced 数据的评估，表明我们的序列模型优于以前的现有技术，并且可以通过更有效的主动学习来降低众包成本。

    Nov, 2018

  • 医学关系提取的众包真实性数据

    使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

    Jan, 2017

  • 耦合混淆纠正：从带有稀疏注释的众包中学习

    采用耦合混淆校正的方法对众包注释进行学习，通过双层优化，使模型能够更好地校正系统学习到的混淆矩阵，同时根据注释者群体的相似性进行聚类，从而更好地捕捉注释者的专业知识，特别是对于很少提供标签的注释者。此外，使用 Beta 分布来生成众包注释，以使合成注释与真实世界的注释更一致。大量实验表明，该方法明显优于现有的方法。

    Dec, 2023

  • 半监督文本注释的贝叶斯方法

    通过贝叶斯深度学习模型和贝叶斯集成方法来指导注释过程，可以提高 BERT 模型的注释和预测性能。

    Oct, 2020

  • 通过生成增强改进众包学习

    本文研究了如何使用数据增强处理众包数据中的稀疏性问题，特别地，我们提出了使用生成对抗网络来直接学习分类器，以解决存在于众包数据中的标注不足问题。在三个现实世界数据集上进行的广泛实验和与当前最先进的众包学习方法的比较证明了我们的数据增强框架的有效性，展示了我们算法在低成本众包中的潜力。

    Jul, 2021