ACLApr, 2023

众包隐式言论关系的设计选择：揭示任务设计引入的偏见

PDF
TL;DR本文分析了任务设计偏差对自然语言注释的影响，结论表明任务设计对注释人员对关系的选择有影响，且应将这种偏差考虑到模型的训练和测试中。
natural language annotationtask design biasimplicit discourse relation annotationcrowdsourcingbias analysis
发现论文，激发创造
  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • 使用跨语言明示技术获取已标注数据以进行隐含式话语关系分类

    本文针对在语篇分析中最具挑战性和重要性的隐式语篇关系分类任务，通过开发连接词，采用回译技术增加训练数据来提高任务的性能，论文探讨了如何有效地利用不同语言的多种翻译来改善附加数据的质量的问题。

    Aug, 2018

  • 自发对话中的对话关系分布

    时间压力和话题协商对人们在即兴对话环境中利用话语关系（DRs）存在限制。本研究使用初学者注释的众包数据，将一种面向书面语的 DR 系统适应到即兴对话中，并测试不同类型的多发话语环境中的话语关系使用情况。我们比较说话者内部和跨说话者以及连续回合内部和跨连续回合的 DR 注释模式。最终，我们发现不同的话语环境产生不同的话语关系分布，而单个回合的注释给注释者带来最大的不确定性。此外，我们发现话语关系注释的质量足以从话语单位的嵌入中进行预测。

    Jul, 2023

  • 激发隐式言论关系注释

    对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

    Feb, 2024

  • 医学关系提取的众包真实性数据

    使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

    Jan, 2017

  • 将注释者的不确定性融入到篇章关系的表达中

    对话语境及刚入门的注释者的不确定性是注释语篇关系的困难任务，我们通过计算包含置信度和对话语境信息的共现统计数据中的语篇关系的分布表示，并进行层次聚类分析，发现计算这些表示并赋予关于置信度和对话语境的信息能够连贯地模拟注释者对于语篇关系标签的不确定性。

    Aug, 2023

  • 不同语篇注释框架之间的自动对齐

    利用标签锚定对比学习方法，通过学习标签嵌入来映射不同框架中的语篇关系。

    Mar, 2024

  • 面向主观多任务自然语言处理问题的基于模型的数据获取

    通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

    Dec, 2023

  • 基于标注启发的隐式语篇关系分类及辅助语篇连词生成

    研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

    Jun, 2023