Mar, 2024

在众包系统中提供即时 AI 干预，改善人工标注质量和领域知识

PDF
TL;DR基于众包平台，本研究加入即时人工智能干预以提高质量控制，实施了一个先进的推理模型 LabelAId，结果显示其较传统机器学习方法在错误推断准确度上有显著改进，同时增强了标签的精确性和标注者的自信心，值得拓展应用于其他众包科学领域。
crowdsourcing platformsquality controljust-in-time ai interventionslabelaidcrowdsourced science domains
发现论文，激发创造
  • 面向长期标注者：一个监督的标签聚合基线

    依靠众包工人，数据众包平台能够高效地提供大量带标签的数据，本文提出一种名为 SuperLA 的监督标签聚合方法，不需要在推理期间进行模型更新，并且能广泛利用历史标注记录，通过对 22 个公共数据集和 11 个基准方法的比较实验发现，SuperLA 不仅在推理性能上优于所有基准方法，而且在效率方面也具有显著优势。

    Nov, 2023

  • 利用人工智能辅助策略优化标注预算的野外录音数据集创建实务方面的问题

    机器听觉的研究聚焦于开发从音频信号中提取相关信息的技术，本文强调了在获取和标注具有上下文的数据方面的重要性，提出了一种综合的数据中心框架用于机器听觉项目，在资源受限的情况下实现配置录音节点、数据库结构和标注预算优化，通过使用专家标注员而非众包实现主动学习，以解决处理大规模、不断增长的数据集带来的计算资源和内存限制等问题。

    May, 2024

  • 利用众包数据进行深度主动学习 – 应用于 Alexa 意图学习

    提出了一种使用贝叶斯框架的深度学习模型来主动从定向众包中学习的方法，该方法可以利用低秩结构来学习每个注释者的知识水平，并利用深度学习模型的不确定性和注释者的知识水平来最小化所需的注释和注释者数量。实验表明，与现有技术相比，该框架可以准确地学习注释者的知识水平、推断真实标签，并在模型训练中有效地减少注释数量。

    Mar, 2018

  • 通过人类反馈提高分类性能：标注一部分，剩下的我们来标注

    借助大语言模型，本文着眼于通过少量标注样本来显著提高模型准确性，从而通过持续的人类反馈循环改进人工智能模型的准确度、回归率和精确度。通过在金融短语库、银行、Craigslist、Trec 和亚马逊评论数据集上的基准测试，证明了即使只有少量标注样本，我们也能超过零样本大语言模型的准确性，提供更好的文本分类性能，而无需手动标记数百万行数据。

    Jan, 2024

  • 交互式弱监督：学习用于数据标注的有用启发式方法

    该研究论文展开了交互式弱监督学习框架的研究，该框架中，方法提议启发式方法并从用户每个被提议的启发式反馈中学习，其实验表明只需要少量的反馈迭代就可以训练模型达到高竞争的测试集性能，而不需要访问本文中使用的标签数据。

    Dec, 2020

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015

  • 在线众包注释中不充分和模糊监督问题缓解方向

    通过众包标注系统和基于伪标签和对比学习的新方法，解决了由于用户知识、文化背景差异和获得监督信息的高成本而导致的标注信息不充分和含糊不清的问题，实现了半监督部分标签学习的最先进表现。

    Oct, 2022

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 高级交互式人机学习界面用于收集和学习复杂的注释

    本文旨在通过为二分类任务提供人机学习界面，使人类注释者能够利用反事实例来补充标准的二分类标签，以缓解人类注释者适应传统标签所施加的限制。

    Mar, 2024