Jun, 2024

具有训练的跨领域意识的众包注释工作者选择

PDF
TL;DR本文介绍了一种名为 “跨领域感知的工人选择与训练方法” 的分配方案，该方案考虑了工人在其他任务中的历史表现以及工人在任务中通过学习获得的动态表现，并通过两个评估模块统计分析了跨领域相关性和工人的学习收益。实验证明，该方法在真实和合成数据集上均超越了基准方法。
annotationcrowdsourcingworker selectioncross-domainlearning gain
发现论文，激发创造
  • 以领域自适应为基础的众包学习：一项针对命名实体识别的案例研究

    本文提出了一种基于领域适应的、适用于众包的注释者感知特征学习模型，以减小众包注释的干扰，实现有效的监督式学习，将其应用于命名实体识别任务中，通过实验验证其在无或少量专家注释的情况下也可以实现极佳的效果，并取得了新的最高性能。

    May, 2021

  • 关注跨域人群理解中的语义一致性

    本文提出了一种领域适应方法，采用语义一致性、语义提取和对抗训练技术解决了合成数据适应性差的问题，在三个数据集上实验结果表明该方案在跨领域计数问题中达到了最先进水平。

    Feb, 2020

  • 学习从众的标签选择方法

    使用 Learning from Crowds 框架中的 Label Selection Layer 方法，通过选择性网络确定是否使用工人的标签进行训练，提供了一种有效的解决 Crowd annotations 中的标签噪声问题的方法。实验证明该方法在几乎所有的监督学习问题中都能获得与或优于当前最先进的方法相当的性能。

    Aug, 2023

  • 众包分类任务工人分配的主动学习效率

    本文针对众包分类任务中工人分配问题，结合理论分析和实验模拟，比较了两种主动学习策略和均匀分配策略的性能，并推导了一个新的性能边界。实验结果表明理论结果在实践中得到了验证。

    Oct, 2016

  • 基于跨度序列标注的低成本众包：工人选择与数据增强

    本研究提出了一种新的工人选择算法，利用组合多臂老虎机方法和数据增强方法来提高序列标注任务中的注释质量和降低成本，测试结果表明该算法的效率得到了显著提高。

    May, 2023

  • 基于群众标注的多视角知识蒸馏用于领域外泛化

    本文提出了新的方法以通过温度调节和 Jensen-Shannon 中心法从众包注释中汇总多个视角的分布，从而获得软标签。我们展示了这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能，同时还验证了这些方法在任务不确定性估计上表现最佳。

    Dec, 2022

  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 跨领域开放世界发现

    通过引入簇 - 匹配策略和面向跨域开放世界发现设计的目标，CROW 通过在稳定的表示空间中强大地匹配簇和之前见过的类别，从而发现新类别，并通过针对跨域开放世界发现设计的目标来精细调整表示空间，实验结果表明 CROW 在图像分类基准数据集上优于其他基线方法，在 75 个实验设置中平均提高了 8％的性能。

    Jun, 2024

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017

  • 高效在线众包任务与复杂注释

    在线众包平台的真实性发现算法在聚合多个标注人的注释时起着重要作用，本论文提出了一种适用于在线众包环境的新方法，能够在有效平衡成本（即标注数量）和注释质量的同时，对一般复杂注释（如边界框和分类路径）进行推断，该方法以 label 者的准确度为线性期望平均相似度，经过对 Meta 真实众包数据的广泛评估后，展示了我们提出的在线算法在改善成本 - 质量权衡方面的有效性。

    Jan, 2024