Jan, 2023

保持一致性关键：使用标注者内一致性消除自然语言处理中的标签变化

PDF
TL;DR该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。
agreement measureshuman annotatorsnatural language processinginter-annotator agreementintra-annotator agreement
发现论文，激发创造
  • 野外场景中的标注者一致性：揭示其在真实场景中的新兴作用和考虑因素

    本文讨论了 Inter-Annotator Agreement 作为一种标签一致性的计量方式，在实际应用中的角色和含义，同时也提出了多种考虑和潜在问题，并建议有效的应对策略。

    Jun, 2023

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 在复杂结构化，多对象和自由文本注释任务中通常测量标注者的一致性

    本研究探讨了复杂注释任务的 IAA 测量设计与评估，评估跨越了图像边界框、文本序列标记、排名列表、自由文本翻译、数值向量和语法树等 7 个多样化任务，并提出了两种新颖的 IAA 测量方法，显示它们在任务和注释距离函数之间产生了更一致的 IAA 测量。

    Dec, 2022

  • 通过解释理解和预测自然语言推理中的人类标签变化

    该论文创建了一个包含注解高亮和自由文本解释的生态有效的自然语言推断数据集 --LiveNLI。使用该数据集对思维链进行提示，发现目前 GPT-3 在预测标签分布方面仍有改进的空间

    Apr, 2023

  • 众人的声音都很重要：利用人口统计信息量化注释不一致性

    通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

    Jan, 2023

  • 句法标注中的定位和一致性

    研究了人类句法注释的两个关键特性：基于锚定和协议，通过 Penn Treebank WSJ 中的例句系统地获得英语依赖解析器的间注者一致性估计。发现锚定效应对人类编辑语法资源的创建有负面影响，并且通过该方法获得的语法注释质量低于基于人类的注释。

    May, 2016

  • 捕获标签分布：自然语言推理案例研究

    研究了自然语言推理任务中固有人类分歧 (注释标签分布) 的估计。通过后处理平滑预测的标签分布以匹配期望的标签熵取得了很好的效果。同时，通过引入有多个参考的少量样例进行训练，相较于传统做法每个训练样本只采集一个参考，我们发现这种多参考的方法可以在固定注释预算下实现更好的精度。最后，提供了对比这两种方法的丰富分析，用于改进标签分布估计。

    Feb, 2021

  • 处理意见不合：超越主观标注中的多数派投票

    通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

    Oct, 2021

  • 自然语言推理不一致性原因的调查研究

    本研究探讨自然语言推理中的不一致性注释是如何产生的，并识别了 10 种引起不一致的原因，其中某些不一致是由于句子意义的不确定性，而另一些则是由于注释者偏见和任务工件的存在。我们通过两种建模方法来检测存在潜在分歧的文本项目：一个比标准 NLI 标签多一个 “复杂” 标签的四分类方法，和一个多标签分类方法。我们发现多标签分类方法更具表现力，并对数据的可能解释提供了更好的召回率。

    Sep, 2022

  • 注释者一致性、基准真相估计和算法评估的实证研究

    本文研究了计算机视觉中的标注者一致性对目标检测算法评估的影响，发现不同标注者意见的差异对算法的评估有很大影响，GT 的计算方法会对算法性能的排名产生很大的影响甚至可能导致算法性能被高估，且在某些数据集上很难确定一个算法优于另一个算法。

    Jul, 2013