Apr, 2023

SemEval-2023 任务 11：学习中的不一致性（LeWiDi）

PDF
TL;DR本文报告第二届 LeWiDi 共享任务，其集中于争议性任务。为了训练和评估 NLP 模型，提出了一种保留所有注释者判断的新的语料库创建方法，并介绍了敦促 NLP 研究人员采用这种方法的 LeWiDi 系列。
nlp datasetsdisagreementssubjective judgmentslewidi seriesshared tasks
发现论文，激发创造
  • SemEval-2023 任务 11 的 iLab：建模分歧还是建模不同观点？

    使用现有多任务模型评估并结合模型仿真方法与个体标注者观点来预测个体标注者的不一致性，得出具体少数观点的模型更适用于模型预测。

    May, 2023

  • 自然语言推理不一致性原因的调查研究

    本研究探讨自然语言推理中的不一致性注释是如何产生的，并识别了 10 种引起不一致的原因，其中某些不一致是由于句子意义的不确定性，而另一些则是由于注释者偏见和任务工件的存在。我们通过两种建模方法来检测存在潜在分歧的文本项目：一个比标准 NLI 标签多一个 “复杂” 标签的四分类方法，和一个多标签分类方法。我们发现多标签分类方法更具表现力，并对数据的可能解释提供了更好的召回率。

    Sep, 2022

  • SafeWebUH 参加 2023 SemEval 任务 11：在贬损性文本中学习注释者不一致性：直接训练与聚合的比较

    本文使用四个数据集提供的 SemEval-2023 任务 11 训练数据，并微调 BERT 模型，以捕捉反对意见。研究结果表明，单独注释者建模和聚合降低了交叉熵得分平均约为 0.21，这进一步证明注释者元数据有助于平均降低互信息损失得分约为 0.029。

    May, 2023

  • 设计投入应用于多元世界观的 NLP 系统

    自然语言推理（NLI）是评估人工智能语言理解的基础。我们认为，现有模型在模糊的例子上失败并且表现出差劲的泛化能力，这是由于忽视了意义的主观性，它与个体的世界观密切相关。我们提出了一种观点主义的方法：构建捕捉注解者人口统计、价值观和标签理由的数据集。这样的数据集将明确地建模多样化的世界观。我们对 SBIC 数据集的一个子集进行的初步实验表明，即使是有限的注解者元数据也能提高模型的性能。

    May, 2024

  • 从集体人类意见中我们能学到自然语言推理数据的什么？

    通过 ChaosNLI 数据集，该研究发现人们在 NLI 评估中存在高度的主观性，新颖度极强的数据集会导致现有模型表现不佳，并提出了考虑人类评价的分布的新评估指标。

    Oct, 2020

  • 众人的声音都很重要：利用人口统计信息量化注释不一致性

    通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

    Jan, 2023

  • D3CODE: 跨文化数据中的冒犯性检测与评估中的差异分析

    通过广泛的平行标注来考虑不同社会和文化群体的道德价值观，在跨文化数据集中揭示了标注者感知的区域差异，为构建包容性、具有文化敏感性的自然语言处理模型提供了关键见解。

    Apr, 2024

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • WANLI: 工人与人工智能合作创建自然语言推理数据集

    通过使用自然语言生成技术和人工智能协作来创造数据集，以及使用 WANLI 数据集训练模型取得了较高精度，具有以下关键词：众包、NLP 数据集、数据集创作、人工智能、自然语言推理

    Jan, 2022

  • 同意不同意：在冒犯性词语数据集上注释注解者的不同意见

    本文提出了一种用于创建自然语言数据集的方法，通过将标注者的观点选为不同的训练集和测试集，可以提高分类器的性能和鲁棒性，为社交媒体中的恶意语言检测提供更好的数据准备。

    Sep, 2021