Mind the GAP: 一个性别不明确代词平衡语料库
本文提出了一种新的方法通过反事实生成来收集多样性,自然性和最小距离的文本对,并构建了一个由 4008 个实例分成 1002 个四重组成的 Counter-GAP 注释数据集,以评估语言模型在固指消解中的性别偏见问题。作者使用四重组级别指标解决了以前的偏差取消问题,并发现四个预训练的语言模型在不同性别组之间的不一致性显着大于在每个组内部的不一致性,姓名为基础的反事实数据增强方法比匿名化方法对减少这种偏见更有效。
Feb, 2023
该论文研究了指代消解的一个子任务,代词消解,并描述了他们基于 BERT 的方法,该方法能够在性别平衡的情况下,达到 92%的性能得分和更低的性别偏差。
Jun, 2019
本文在结构句法的监督下,通过将预训练 BERT 与关系图卷积网络 (R-GCN) 相结合,提出了一种端到端的关联分辨器,R-GCN 的嵌入在指代任务上优于 BERT 的原始嵌入,从而将 GAP 数据集上的片段 - 上下文基线 F1 分数显著提高了 13.4 个百分点, 解决了现有的指代分辨器存在的性别偏差问题。
May, 2019
在自然语言处理中,引入了一种基于理论的测试样本加权方法,以解决在性别偏见测量的指代消解数据集中出现的样本相互关系,例如在女性子集中出现的长期依赖性问题,重新评估了 16 个核心解决方案。
Nov, 2020
本文在共指消解和自然语言推理领域引入了一个目标针对常识理解和世界知识的新基准,即 Knowref。我们提出了一个包含超过 8,000 个文本段落的语料库,用于研究具有歧义的代词指代的核心指代功能。我们发现,各种核心参考系统(基于规则的、特征丰富的或神经网络的)在该任务上的表现都比人类差得多,而这可能是因为这些模型缺乏上下文信息。我们还提出了一种数据增强技巧 antecedent switching,并展示了它在其他任务中取得了有 promising 的结果。
Nov, 2018
本文中,我们提出了一种通过 fine-tuned pre-trained BERT 模型并使用抽取式问答形式的代替先前的基于 coreference resolvers 的代词消歧任务,从而克服这个性别偏见问题的解决方案,该模型可以在无需先验知识的情况下,在性别平衡的数据集上取得明显的结果 (F1 值的绝对改善率达到 22.2%),还提出了通过 ensemble 模型结合多项选择和序列分类等方法进一步提高表现 (F1 值的绝对改善率达到 23.3%),该模型已在第一届 ACL 会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。
Jun, 2019
研究性别偏见对指代消解系统的影响,介绍 Winogender schemas 测试集,评估了三个公开的指代消解系统存在系统性的性别偏见,并将其与现实和文本性别统计数据相关联。
Apr, 2018
本研究通过引入大小适中,精度高的 WikiCREM 数据集以及基于语言模型的方法,对代词消岐问题进行了研究,并在 GAP、DPR、WNLI、PDP、WinoBias 和 WinoGender 等七个数据集上取得优秀的表现。同时,我们提供了可直接使用的模型以解决代词消岐问题。
Aug, 2019
了解人物性别问题对人物提及的正确解析极为重要,但有风险引起共指解析系统中的系统偏见,本文从社会学和社会语言学的角度具体阐述如何建立可以认知性别复杂性的共指识别系统,并开发了两个新数据集以此来反映和检验系统偏见。通过对英文文本的研究,证实没有认可性别复杂性的系统会导致许多潜在危害。
Oct, 2019
本研究提出了一种基于跨语言枢轴技术的新颖方法,用于自动生成高质量的性别标签,并展示了这些数据可用于微调 BERT 分类器,该分类器对于西班牙语中丢失的女性代词具有 92%的 F1,相比之下,神经机器翻译模型和非微调 BERT 模型分别为 30-51% 和 54-71%。我们使用来自我们分类器的标签来增强神经机器翻译模型以改进代词翻译,同时仍具有可并行化的翻译模型,可以逐句翻译。
Jun, 2020