Jun, 2012

CDAS: 一个众包数据分析系统

PDF
TL;DR该研究介绍了一种基于众包的数据分析系统，其中包含了质量敏感型质量控制模型，并利用 Twitter 和 Flickr 数据展示了该系统在推特情感分析和图像标注等任务上的较高精度。
crowdsourcingdata analytics systemquality-sensitive modeltwitter sentiment analyticsimage tagging
发现论文，激发创造
  • 众包数据库的主动学习

    本研究提出一种将机器学习与众包数据库结合的主动学习算法，以实现众包应用程序的可扩展性，并通过实验证明：相比于以往的主动学习方案，我们的方法平均只需要人类标记 1-2 个数量级的数据集就能实现与随机采样相同的精度。

    Sep, 2012

  • 众包自适应调查

    该研究介绍了一种众包自适应调查方法（CSAS），结合自然语言处理和自适应算法的进展，生成随用户输入而演变的问题库。该方法将参与者提供的开放性文本转换为李克特式项目，并应用多臂赌博机算法来确定应优先考虑的用户提供的问题。这种自适应方法允许探讨新的调查问题，同时在调查长度方面成本最小化。在拉丁裔信息环境和问题重要性领域的应用展示了 CSAS 识别可能难以通过标准方法追踪的主张或问题的能力。最后讨论了该方法在研究参与者生成内容可能提高我们理解公众意见的主题方面的潜力。

    Jan, 2024

  • 计算机视觉中的众包

    本篇论文调查了计算机视觉中使用众包方法进行数据标注的类型，并讨论了一些有效的数据采集界面和工作流设计决策，以及智能选取最重要的数据实例进行注释的策略，最后探讨了众包在计算机视觉领域的未来发展。

    Nov, 2016

  • 标记众包中预算 - 保真度权衡的基本限制

    通过信息论速率失真框架对人在循环计算问题进行建模和分析，以确定通过任何形式的查询和任何解码算法的结果和给定预算所能达到的最终保真度。此外，该论文还介绍并分析了一种查询方案，称为 $k$ -ary incidence coding，并研究了该场景下的查询定价。

    Aug, 2016

  • CrowdER：众包实体解析

    本文提出了一种混合人机的方法来解决实体解析问题，该方法结合了机器的计算速度和人类的判断能力，使用流行的众包平台在真实数据集上进行了广泛的实验，获得了高精度和高效率的解决方案。

    Aug, 2012

  • 利用众包数据进行深度主动学习 – 应用于 Alexa 意图学习

    提出了一种使用贝叶斯框架的深度学习模型来主动从定向众包中学习的方法，该方法可以利用低秩结构来学习每个注释者的知识水平，并利用深度学习模型的不确定性和注释者的知识水平来最小化所需的注释和注释者数量。实验表明，与现有技术相比，该框架可以准确地学习注释者的知识水平、推断真实标签，并在模型训练中有效地减少注释数量。

    Mar, 2018

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • DialCrowd 2.0: 一个专注于质量的对话系统众包工具包

    介绍 DialCrowd 2.0，以提高使用众包获取训练、微调和评估对话系统高质量数据的开发者对任务的呈现和与工人交流的有效性，并指导改进人类智能任务。

    Jul, 2022

  • 通过自适应方案在众包中实现预算最优

    该研究探讨了如何在固定预算下最大化标注数据的精确度，比较自适应任务分配与非自适应任务分配之间的优劣，并使用概率模型来解决这个问题。

    Feb, 2016

  • 以领域自适应为基础的众包学习：一项针对命名实体识别的案例研究

    本文提出了一种基于领域适应的、适用于众包的注释者感知特征学习模型，以减小众包注释的干扰，实现有效的监督式学习，将其应用于命名实体识别任务中，通过实验验证其在无或少量专家注释的情况下也可以实现极佳的效果，并取得了新的最高性能。

    May, 2021