EMNLPMay, 2016

句法标注中的定位和一致性

PDF
TL;DR研究了人类句法注释的两个关键特性：基于锚定和协议，通过 Penn Treebank WSJ 中的例句系统地获得英语依赖解析器的间注者一致性估计。发现锚定效应对人类编辑语法资源的创建有负面影响，并且通过该方法获得的语法注释质量低于基于人类的注释。
syntactic annotationsanchoring biashuman editingparsing performanceinter-annotator agreement
发现论文，激发创造
  • 保持一致性关键：使用标注者内一致性消除自然语言处理中的标签变化

    该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

    Jan, 2023

  • 手动注释的质量和效率：预注释偏差

    本文分析了使用自动的预注释进行中等复杂度任务 (依赖句法注释) 的注释，并比较了手动注释和预注释注释的差别。实验证实了预注释是提高手动句法注释一致性和效率的有效工具。

    Jun, 2023

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • PICO 跨度标注中的一致性研究

    本文研究了由多个人工标注员（包括专家和非专家）进行的 PICO 注释的一致性，并发现个体标注员的注释边界非常多样化，认为仅使用标准协议可能会削弱 PICO 跨度的一致性，同时采用标准和宽松协议更适用于 PICO 跨度评估。

    Apr, 2019

  • 理解对资源有限的神经机器翻译中的词级语言标注的影响

    研究了词级语言标注对资源不足的神经机器翻译的影响，通过实验发现，当在源语言进行标注时，语法 - 语义描述标签在某些语言对中表现优于词性标签；但在目标语言进行标注时，词性标签在自动评估指标上始终优于语法 - 语义描述标签，尽管后者可改善输出的语法性。该研究提供了对此结果的详细分析。

    Jan, 2024

  • 注释者一致性、基准真相估计和算法评估的实证研究

    本文研究了计算机视觉中的标注者一致性对目标检测算法评估的影响，发现不同标注者意见的差异对算法的评估有很大影响，GT 的计算方法会对算法性能的排名产生很大的影响甚至可能导致算法性能被高估，且在某些数据集上很难确定一个算法优于另一个算法。

    Jul, 2013

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • 瀑布偏差：探讨启发式标注策略对数据和模型的影响

    本文探讨了在众包平台上进行注释任务时，注释者使用认知启发式对数据质量和模型稳健性的影响，并提出了追踪注释者启发式痕迹以确定使用各种认知启发式的方法。作者发现，注释者可能会使用多种认知启发式，由其决定数据质量并影响模型的鲁棒性。追踪注释者使用认知启发式有可能帮助收集有挑战性的数据集并诊断模型偏差。

    Oct, 2022

  • 盲点与偏见：探索在自然语言处理中注释者的认知偏差的作用

    人工智能的快速普及引发了对其可能加剧现有偏见和社会差异并引入新差异的担忧。我们的研究侧重于回顾现有方法和正在进行的调查，旨在了解对偏见产生影响的注释属性。

    Apr, 2024

  • 快与慢的决策：认知偏见在 AI 辅助决策中的作用

    利用认知科学的知识建立数学模型并提供了一个普遍的框架，用于理解认知偏差和人工智能精度之间的相互作用，特别是锚定偏差，通过一项有效的时间分配策略，成功提高了人工智能的协作性能。

    Oct, 2020