Dec, 2018

众包质量控制的统计建模和设计方法技术调研

PDF
TL;DR本文介绍了众包质量控制中机制设计和统计模型两大分支的研究和应用，提出了系统化统一机制以确定响应质量的框架，并对质量控制论文进行了分类，并指出了当前的限制和未来的方向。
crowdsourcingquality controlmechanism designstatistical modelsresponse aggregation
发现论文，激发创造
  • 众包中的数据质量与垃圾行为检测

    通过方差分解来评估数据质量和检测垃圾信息威胁，提出垃圾信息指数评估整体数据一致性，并利用马尔可夫链和广义随机效应模型开发了两个指标来衡量群体工作者的可信度。

    Apr, 2024

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014

  • 自适应 Crowdsourcing 算法用于 Bandit Survey 问题

    通过自适应质量控制的简单模型，我们解决了多项选择任务中的 Bandit 调查问题，提出了几种算法，并通过分析和模拟支持了我们的方法。

    Feb, 2013

  • 增强数据质量保证的众包方法：缓解医疗领域大型语言模型训练中资源稀缺挑战的有效途径

    本研究提出了一种在低资源领域（如医疗保健）采用预处理、实时控制和数据收集后的质量控制措施来改善数据质量的众包框架，通过评估 Bio-BERT 对预测自闭症相关症状的影响，结果显示实时质量控制相较于预处理可提高数据质量 19％，尽管在精度方面有所降低，但使用众包数据进行 Bio-BERT 的微调通常会提高召回率。本研究揭示了众包和质量控制在资源有限环境中优化医疗保健大型语言模型以进行明智决策和改善患者护理的潜力。

    May, 2024

  • 使用编码理论进行多类标注的可靠众包

    本文介绍了一种利用码的错误控制代码和解码算法来设计众包系统的方法，以实现对于不可靠众包工作者进行可靠分类。我们分析了三种不同的众包模型，并考虑了众包质量的排序原则，结果表明利用好的码可能优于常规的多数表决方法。

    Sep, 2013

  • 在众包环境中估计贡献者的资格和行为以及答案的聚合

    本文提出了一种名为 MONITOR 的方法，用来解决众包平台上不同质量的数据聚合问题。该方法通过估计贡献者的资质和行为来确定其贡献者资料，并利用数据信任理论来考虑其潜在不完美的特点，从而更好地聚合贡献者的数据。在真实数据上的实验表明，MONITOR 方法大大提高了聚合后的数据准确性。本文的贡献在于首次提出了一种模型，既考虑了贡献者的资质，也考虑了其行为，用于估计其贡献者资料。其次，还提出了一种根据估计的资料弱化和聚合结果的答案的方法。

    Mar, 2023

  • 众包排名中的假发现率控制与标注者统计质量评估

    本文中，我们开发了一个统计框架来建模和检测标注者的位置偏差，并采用新型 knockoff 过滤器和基于反比例尺度动力学的算法来控制虚警率，为定量研究众包数据中的标注者异常行为提供了一种有用的工具。

    May, 2016

  • 通过自适应方案在众包中实现预算最优

    该研究探讨了如何在固定预算下最大化标注数据的精确度，比较自适应任务分配与非自适应任务分配之间的优劣，并使用概率模型来解决这个问题。

    Feb, 2016

  • 深入未来：理解长期众包工作者质量

    本研究利用大规模的纵向数据集，研究了众包工作者在从事长时间的重复任务时的行为，发现他们的工作质量极其稳定，建立了一种预测工作者长期质量的方法。

    Sep, 2016

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015