研究性别偏见对指代消解系统的影响，介绍 Winogender schemas 测试集，评估了三个公开的指代消解系统存在系统性的性别偏见，并将其与现实和文本性别统计数据相关联。

Apr, 2018

通过使用 WinoMT 自动测试套件，我们对 19 个系统进行了研究，发现性别偏见在机器翻译中很常见，系统通常使用数据中的假性别关联而非有意义的上下文信息。

Oct, 2020

通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含 108k 多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在 www.github.com/SLAB-NLP/BUG 上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

Sep, 2021

本文观察到了一种性别诱导的偏见，并提供了一个名为 SoWinoBias 的测试集，以测量指代消解系统中的潜在性别偏见，同时评估当前去偏置方法在 SoWinoBias 测试集上的性能，特别是与该方法的设计和改变的嵌入空间属性相关的性能。

Sep, 2021

本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

Jul, 2018

本文中，我们量化、分析和减轻了 ELMo 上表现的性别偏见。通过内在分析和实验，我们发现 ELMo 的训练数据中包含男性实体比女性实体多，其编码的词向量中存在性别信息，且男性和女性实体所包含的性别信息不平等。同时，我们发现最前沿的指代消解系统很大程度上依赖 ELMo，继承了 ELMo 的性别偏见，表现出显著的偏见，我们探索了两种减轻这种性别偏见的方法，并展示了这种在 WinoBias 数据集上表现出的偏见可以被消除。

Apr, 2019

本文提出了两个直观的度量标准、skew 和 stereotype，来量化和分析上下文语言模型应对 WinoBias 代词消解任务时存在的性别偏见，并通过两种方法调查了如何减少偏见。第一个方法是在线方法，在牺牲刻板印象的代价下有效地消除偏斜。第二个方法是借鉴了 ELMo 的先前工作，并使用增强的性别平衡数据集微调 BERT，结果与无增强微调的 BERT 相比，降低了 skew 和 stereotype。但是，我们发现现有的性别偏见基准未完全探测到专业偏见，因为代词消解可能会被来自其他性别偏见表现的交叉相关性所混淆。

Jan, 2021

本研究介绍了 VisoGender，这是一个用于基准测试视觉语言模型的性别偏见的新数据集。我们专注于与职业相关的性别偏见，并强调每个图像都与包含场景中主体和对象的代词关系的标题相关联。

Jun, 2023

本研究以性别为例，用度量方法描述了文本语料中的社会问题偏差。提出了语言模型的正则化损失项以减少性别偏差，最终在多个语料库中验证了该方法的有效性。

Apr, 2019

了解人物性别问题对人物提及的正确解析极为重要，但有风险引起共指解析系统中的系统偏见，本文从社会学和社会语言学的角度具体阐述如何建立可以认知性别复杂性的共指识别系统，并开发了两个新数据集以此来反映和检验系统偏见。通过对英文文本的研究，证实没有认可性别复杂性的系统会导致许多潜在危害。

Oct, 2019