本研究介绍了一个新的基准数据集WinoBias，用于解决与性别偏见有关的指代消解问题。通过数据增强方法，结合现有的词嵌入去偏置技术，可以消除核心指代消解系统对WinoBias数据集中男女刻板定型实体的偏见，同时不会显著影响系统的表现。

Apr, 2018

研究性别偏见对指代消解系统的影响，介绍Winogender schemas测试集，评估了三个公开的指代消解系统存在系统性的性别偏见，并将其与现实和文本性别统计数据相关联。

Apr, 2018

该研究介绍了一个包含真实文本挑战的性别平衡标记语料库GAP，旨在解决自然语言理解中消歧代词的长期难题，并探索各种基线方法，最终表明结构和神经模型提供了有希望的补充线索。

Oct, 2018

本文在共指消解和自然语言推理领域引入了一个目标针对常识理解和世界知识的新基准，即Knowref。我们提出了一个包含超过8,000个文本段落的语料库，用于研究具有歧义的代词指代的核心指代功能。我们发现，各种核心参考系统（基于规则的、特征丰富的或神经网络的）在该任务上的表现都比人类差得多，而这可能是因为这些模型缺乏上下文信息。我们还提出了一种数据增强技巧 antecedent switching，并展示了它在其他任务中取得了有 promising 的结果。

Nov, 2018

本文中，我们提出了一种通过fine-tuned pre-trained BERT模型并使用抽取式问答形式的代替先前的基于coreference resolvers的代词消歧任务，从而克服这个性别偏见问题的解决方案，该模型可以在无需先验知识的情况下，在性别平衡的数据集上取得明显的结果 (F1值的绝对改善率达到22.2%)，还提出了通过ensemble模型结合多项选择和序列分类等方法进一步提高表现 (F1值的绝对改善率达到23.3%)，该模型已在第一届ACL会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。

Jun, 2019

在自然语言处理中，引入了一种基于理论的测试样本加权方法，以解决在性别偏见测量的指代消解数据集中出现的样本相互关系，例如在女性子集中出现的长期依赖性问题，重新评估了16个核心解决方案。

Nov, 2020

通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含108k多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在www.github.com/SLAB-NLP/BUG上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

Sep, 2021

本研究介绍了VisoGender，这是一个用于基准测试视觉语言模型的性别偏见的新数据集。我们专注于与职业相关的性别偏见，并强调每个图像都与包含场景中主体和对象的代词关系的标题相关联。

Jun, 2023

研究探讨荷兰指代消解系统对中性代词（如hen和die）的性能，比较了两种去偏见技术（CDA和delexicalisation）对非二元上下文的指代消解系统的影响，并引入了评估中性代词性能的新度量标准——代词得分。结果显示相较于有性别的对应词，中性代词的性能下降，然而CDA大大缩小了有性别和中性代词之间的性能差距，并且在资源有限的情况下仍然有效，证明了以最少资源和低计算成本实现有效去偏见的可行性。

Apr, 2024

本研究旨在解决存在于Winogender数据集中对代词不同语法形式的处理不一致、模板约束的违反和排版错误等问题，从而影响性别偏见测量的可靠性。我们提出了一个新的数据集Winogender 2.0，并提出一种新的方法评估核心指代中的代名词偏见，显示偏见特征不仅在代词集之间差异明显，而且在这些集的表面形式之间也存在变化。

Sep, 2024