为指代消解和机器翻译收集大规模性别偏置数据集

EMNLPSep, 2021

为指代消解和机器翻译收集大规模性别偏置数据集

Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation

Shahar Levy, Koren Lazar, Gabriel Stanovsky

TL;DR通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含 108k 多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在 www.github.com/SLAB-NLP/BUG 上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

Abstract

Recent works have found evidence of gender bias in models of machine translation and coreference resolution using mostly synthetic diagnostic datasets. While these quantify bias in a controlled experiment, they o

gender bias machine translation coreference resolution grammatical patterns diverse real-world sentences

发现论文，激发创造

机器翻译中性别偏见的评估

本研究利用两个共指解析数据集，通过 8 种有语法性别的目标语言中的形态分析，第一次提出了机器翻译中性别偏见的挑战集和评估协议，并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。

Jun, 2019

WMT2020 年性别同指和偏见评估

通过使用 WinoMT 自动测试套件，我们对 19 个系统进行了研究，发现性别偏见在机器翻译中很常见，系统通常使用数据中的假性别关联而非有意义的上下文信息。

Oct, 2020

核指消解中的性别偏见：评估与去偏方法

本研究介绍了一个新的基准数据集 WinoBias，用于解决与性别偏见有关的指代消解问题。通过数据增强方法，结合现有的词嵌入去偏置技术，可以消除核心指代消解系统对 WinoBias 数据集中男女刻板定型实体的偏见，同时不会显著影响系统的表现。

Apr, 2018

核指消解中的性别偏见

研究性别偏见对指代消解系统的影响，介绍 Winogender schemas 测试集，评估了三个公开的指代消解系统存在系统性的性别偏见，并将其与现实和文本性别统计数据相关联。

Apr, 2018

文本中的性别偏见：标记数据集和词库

该研究的主要贡献是，通过收集、注释和增强相关句子以促进检测英文文本中的性别偏见，公开提供已标记的数据集和详尽的词汇表，其中所包含的偏见子类型包括：通用他，通用她，明确标记性别和性别新词。同时，利用词嵌入模型进一步增强了所收集的词汇表。

Jan, 2022

利用大型语言模型衡量性别化语言中的性别偏见

该论文介绍了一种利用大型语言模型对西班牙语语料库进行定量分析性别表达的新方法，通过识别和分类与人类实体相关的具有性别特征的名词和代词，揭示了四个广泛使用的基准数据集中存在的显著性别差异，从男性到女性的比例范围从 4:1 到 6:1，这些发现证明了我们方法在性别语言中进行偏见量化的价值，并建议在自然语言处理中应用该方法，为更公平的语言技术发展做出贡献。

Jun, 2024

迈向性别包容的指代消解

了解人物性别问题对人物提及的正确解析极为重要，但有风险引起共指解析系统中的系统偏见，本文从社会学和社会语言学的角度具体阐述如何建立可以认知性别复杂性的共指识别系统，并开发了两个新数据集以此来反映和检验系统偏见。通过对英文文本的研究，证实没有认可性别复杂性的系统会导致许多潜在危害。

Oct, 2019

神经自然语言处理中的性别偏见

本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

Jul, 2018

通过性别不明确的代词进行反事实偏见评估的计数器

本文提出了一种新的方法通过反事实生成来收集多样性，自然性和最小距离的文本对，并构建了一个由 4008 个实例分成 1002 个四重组成的 Counter-GAP 注释数据集，以评估语言模型在固指消解中的性别偏见问题。作者使用四重组级别指标解决了以前的偏差取消问题，并发现四个预训练的语言模型在不同性别组之间的不一致性显着大于在每个组内部的不一致性，姓名为基础的反事实数据增强方法比匿名化方法对减少这种偏见更有效。

Feb, 2023

量化预训练语言模型中的性别偏见和倾斜

本文提出了两个直观的度量标准、skew 和 stereotype，来量化和分析上下文语言模型应对 WinoBias 代词消解任务时存在的性别偏见，并通过两种方法调查了如何减少偏见。第一个方法是在线方法，在牺牲刻板印象的代价下有效地消除偏斜。第二个方法是借鉴了 ELMo 的先前工作，并使用增强的性别平衡数据集微调 BERT，结果与无增强微调的 BERT 相比，降低了 skew 和 stereotype。但是，我们发现现有的性别偏见基准未完全探测到专业偏见，因为代词消解可能会被来自其他性别偏见表现的交叉相关性所混淆。

Jan, 2021