Nov, 2022

一种轻量、有效和高效的众包标签聚合模型

PDF
TL;DR本文提出了两个轻量级算法 LA extsuperscript {onepass} 和 LA extsuperscript {twopass}，通过动态贝叶斯网络建模聚合标签，可以有效地、高效地估计工作者质量和真实标签，并可以在不重新访问历史数据的情况下在线估计真正的标签值。
label aggregationcrowdsourced labelsdynamic bayesian networkworker qualitiesonline estimation
发现论文，激发创造
  • 面向长期标注者：一个监督的标签聚合基线

    依靠众包工人，数据众包平台能够高效地提供大量带标签的数据，本文提出一种名为 SuperLA 的监督标签聚合方法，不需要在推理期间进行模型更新，并且能广泛利用历史标注记录，通过对 22 个公共数据集和 11 个基准方法的比较实验发现，SuperLA 不仅在推理性能上优于所有基准方法，而且在效率方面也具有显著优势。

    Nov, 2023

  • 众包和 LLM 的注释质量比较研究

    通过对现有众包数据集进行评估，从不同的角度研究了个体众包标签和大语言模型标签的质量，提出了一种众包 - 大语言模型混合标签聚合方法并验证了其性能，发现将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量，且高于大语言模型标签自身的质量。

    Jan, 2024

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017

  • 高效在线众包任务与复杂注释

    在线众包平台的真实性发现算法在聚合多个标注人的注释时起着重要作用，本论文提出了一种适用于在线众包环境的新方法，能够在有效平衡成本（即标注数量）和注释质量的同时，对一般复杂注释（如边界框和分类路径）进行推断，该方法以 label 者的准确度为线性期望平均相似度，经过对 Meta 真实众包数据的广泛评估后，展示了我们提出的在线算法在改善成本 - 质量权衡方面的有效性。

    Jan, 2024

  • 基于置换的众包标注模型：最优估计与鲁棒性

    本文提出一种排列模型 - 用于聚合和去噪众包标注数据，该模型是对经典的 Dawid-Skene 模型的重要推广，并介绍了一种新的误差度量方法，用于比较不同的估计器。我们设计了两种计算有效的估计器：WAN 估计器和 OBI-WAN 估计器，并对它们的性能进行了非渐近界限的界定。最后通过合成模拟和实验数据验证了理论结果。

    Jun, 2016

  • 从众策中高效的 PAC 学习

    通过交错标注和学习的过程，可以在更少的标注成本下实现计算效率，以高精度去标记收集的数据，从而进行有效的学习算法。

    Mar, 2017

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 众包标注中的最优预算分配统计决策

    本篇论文研究了众包标注中的预算分配问题，提出了一种基于贝叶斯马尔科夫决策过程的新算法，即乐观的知识梯度策略，该算法被证明在相同的预算水平下能够实现更高的标签准确性，实验结果表明了该算法在众包标注中的效果。

    Mar, 2014

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020