Mar, 2023

在众包环境中估计贡献者的资格和行为以及答案的聚合

PDF
TL;DR本文提出了一种名为 MONITOR 的方法，用来解决众包平台上不同质量的数据聚合问题。该方法通过估计贡献者的资质和行为来确定其贡献者资料，并利用数据信任理论来考虑其潜在不完美的特点，从而更好地聚合贡献者的数据。在真实数据上的实验表明，MONITOR 方法大大提高了聚合后的数据准确性。本文的贡献在于首次提出了一种模型，既考虑了贡献者的资质，也考虑了其行为，用于估计其贡献者资料。其次，还提出了一种根据估计的资料弱化和聚合结果的答案的方法。
发现论文，激发创造
  • 内生能力的众包判断引诱

    本研究提出一种新的信息引出机制，可用于多任务时具有内生能力的代理人的二进制信息引出，其奖励代理人同意 “参考” 评估者的任务，但惩罚盲目同意，以鼓励代理人付出更多的努力，以便获取奖励。

    Mar, 2013

  • 图挖掘与众包相遇：为答案聚合挖掘专家

    本文提出了基于图的挖掘方法来有效计算可靠众包工人的 “专家核心”，并提出了一种将 “专家核心” 与现有答案聚合算法结合的方法以及一种利用 “专家核心” 提取算法所提供的与工人可靠性相关的信息的算法，在人工合成和真实数据集上的计算实验表明，我们提出的答案聚合算法优于现有算法。

    May, 2019

  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 揭示群体学习的动态和知识的价值

    提出了基于概率建模的众包学习框架，通过利用其他用户对贡献的评估，揭示了用户专业知识随时间的演变。还开发了一个可扩展的估计方法来拟合模型参数，并在 Stack Overflow 上跟踪了约 25,000 个用户的活动，发现高知识价值的答案很少，初学者和专家获得的知识比处于中等水平的用户少，励志经常学习者倾向于是高质量答案的熟练贡献者。

    Dec, 2016

  • 可靠众包系统的预算最优任务分配

    本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

    Oct, 2011

  • 众包中的数据质量与垃圾行为检测

    通过方差分解来评估数据质量和检测垃圾信息威胁，提出垃圾信息指数评估整体数据一致性，并利用马尔可夫链和广义随机效应模型开发了两个指标来衡量群体工作者的可信度。

    Apr, 2024

  • 廉价而更好：众包选择好工作者

    本文研究如何在预算限制下，选择优质工人子集以达到最大准确性，并通过组合优化算法解决此问题，证明该算法能够有效地选择少数高质量工人，并在模拟和实际数据集上表现良好。

    Feb, 2015

  • 维基贡献者的模拟、建模与分类：辨别优秀、恶劣和丑陋

    本文提出了一种模拟、建模和分类的方法来自动识别数据伪造，以平衡实验数据集中的类，构建和更新贡献者配置文件，并进行自动数据流分类，该方法在使用基于维基旅行的测试平台上表明显著提高分类器的可信度和质量，将恶意和良性机器人与人类贡献者区分度达到 92% 分类准确度。

    May, 2024

  • 众包质量控制的统计建模和设计方法技术调研

    本文介绍了众包质量控制中机制设计和统计模型两大分支的研究和应用，提出了系统化统一机制以确定响应质量的框架，并对质量控制论文进行了分类，并指出了当前的限制和未来的方向。

    Dec, 2018

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015