May, 2023

注释填充以个性化预测：关于分布动态和模型预测的初步研究

PDF
TL;DR为了克服通过众包进行数据注释所需的时间和成本，我们提出使用填充方法来还原所有标注者对所有示例的观点，从而创建一个不排除任何注释者观点的数据集。
crowdsourcingimputation methodssparse datasetsnlp datasetsannotator's view
发现论文，激发创造
  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 通过生成增强改进众包学习

    本文研究了如何使用数据增强处理众包数据中的稀疏性问题，特别地，我们提出了使用生成对抗网络来直接学习分类器，以解决存在于众包数据中的标注不足问题。在三个现实世界数据集上进行的广泛实验和与当前最先进的众包学习方法的比较证明了我们的数据增强框架的有效性，展示了我们算法在低成本众包中的潜力。

    Jul, 2021

  • 从随机到有知识的数据选择：基于多样性的方法优化人工标注和少样本学习

    在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。

    Jan, 2024

  • 清洗或标注：如何使用有限的数据采集预算

    本文提出了一种通过在注释过程中专门清理高概率错误样本的方法，以优化注释过程，并在三种模型变化和四个自然语言处理任务上进行的实验证明，该方法在分配相同的有限注释预算时优于聚合注释和高级去噪方法。

    Oct, 2021

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 众包中注释者组偏见探究

    这篇研究论文介绍了一种新的基于概率图形框架的群体偏差建模方法，以及用于捕捉同一人群内标注员偏倚影响标注结果的训练算法，该方法在实验证明了其在标签汇聚和模型学习方面的有效性。

    Oct, 2021

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 使用不完美标签进行人群密度估计

    本文研究了深度学习模型在使用不完美标注的人群图像数据进行密度估算时的鲁棒性，提出了一种使用自动生成的不完美标注数据训练的方法以代替标注错误数据的方法。实验结果表明，该方法可以更接近于使用完美标注数据训练的人群计数模型的准确度。

    Dec, 2022

  • 基于群众标注的多视角知识蒸馏用于领域外泛化

    本文提出了新的方法以通过温度调节和 Jensen-Shannon 中心法从众包注释中汇总多个视角的分布，从而获得软标签。我们展示了这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能，同时还验证了这些方法在任务不确定性估计上表现最佳。

    Dec, 2022