词向量中的性别偏见：频率、语法和语义的全面分析

AAAIJun, 2022

词向量中的性别偏见：频率、语法和语义的全面分析

Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics

Aylin Caliskan, Pimparkar Parth Ajay, Tessa Charlesworth, Robert Wolfe, Mahzarin R. Banaji

TL;DR研究发现，英语语料库中的统计规律将社会中已知的性别偏见编码为词嵌入中的群体偏见。使用单类别词嵌入关联测试，作者发现广泛存在性别偏差，这些偏差在词频、词性标记、语义类别和情绪情感方面均有所不同。男性更倾向于与技术、工程、宗教、体育和暴力等概念相关联，而女性则偏向于涉及外观和厨房等领域。同时，男性相关的词汇具有更强的情绪唤起和主导性，而女性相关的词汇则更加温馨。

Abstract

The statistical regularities in language corpora encode well-known social biases into word embeddings. Here, we focus on gender to provide a comprehensive analysis of group-based biases in widely-used static English word embeddings trained on internet corpora (GloVe 2014, fastText 2017

gender biases word embeddings part-of-speech semantic categories valence

发现论文，激发创造

基于词嵌入的性别偏见度量的不良频率依赖性

本文研究了使用基于词嵌入的偏差度量方法在衡量女性和男性性别偏差时词频对结果的影响，并发现 Skip-gram with negative sampling 和 GloVe 往往会在高频词中检测到男性偏见，而 GloVe 往往会在低频词中检测到女性偏见，并进一步通过与基于点互信息的替代度量方法进行比较，证明了频率对度量结果的影响来自度量本身而非词汇相关性，这种影响是虚假和有问题的，因为偏见度量应该专门依赖于词共现而不是个体词频，尽管基于点互信息的度量略微偏向男性，但它并不表现出清晰的频率依赖关系。

Jan, 2023

跨语言词嵌入中，语法性别联系高于主题性别偏见

研究发现，语义的向量空间模型存在人类文化中不良偏见的问题，特别是主题性别偏见交互作用，并被语法性别偏见效应超过；同时，这些偏见可以通过语料库词形还原得以减轻，这对机器翻译等下游应用有重要的启示。

May, 2020

探讨具有语法性别的语言中的性别偏见

该研究提出了一种新的度量标准来评估西班牙语和法语等语言中的词嵌入性别偏见，并进一步证明了双语词嵌入与英文词嵌入存在性别偏见的一致性。同时作者还提供了一种新的方法用于缓解这种偏见。实验结果表明这些方法有效地减少了性别偏见，同时也保持了嵌入向量的实用性。

Sep, 2019

评估上下文词嵌入中的潜在性别偏见

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

去偏见：消除词嵌入中的 “人类是程序员，女性是家庭主妇” 偏见

对 Google News 文章上的 Word Embedding 进行的实证研究表明，即使是这种非人工制作的大型文本数据，在机器学习和自然语言处理应用中也存在着性别偏见的问题。为了消除这些偏见，我们提出了一种方法进行 Word Embedding 去偏见化，从而减少性别偏见的扩大和助推。

Jul, 2016

基于词向量的性别偏见评估的鲁棒性和可靠性：碱基对的作用

研究表明单词嵌入存在性别偏见，过去常常以男女性词对来衡量性别偏见，但这种方式存在局限性，因为它们无法识别现实世界中的其他类型偏见，并且不能很好地指示偏见。

Oct, 2020

自然语言语料库所自动生成的语义带有类似人类的偏见

这份研究首次展示，应用标准机器学习到日常语言时会形成类似于人类的语义偏见，同时该研究还提供了用于评估文本偏见的新方法。

Aug, 2016

测量具有性别语言的词嵌入中的性别偏见需要分离语法性别信号

研究发现，语言的语法性别可能会影响词嵌入的性别信息，提出了一种后处理方法来度量、分离和评价语法性别信号，检验发现此方法有效地减少了法语、德语、意大利语的效应量，并认为分离语法性别信号可以提高语义机器学习任务的性能。

Jun, 2022

量化和减少词嵌入中的刻板印象

通过研究 word embedding 中的性别特征，开发了一种有效算法，减少性别刻板印象又能保留嵌入的有用几何特性。

Jun, 2016

上下文化词嵌入中的性别偏见

本文中，我们量化、分析和减轻了 ELMo 上表现的性别偏见。通过内在分析和实验，我们发现 ELMo 的训练数据中包含男性实体比女性实体多，其编码的词向量中存在性别信息，且男性和女性实体所包含的性别信息不平等。同时，我们发现最前沿的指代消解系统很大程度上依赖 ELMo，继承了 ELMo 的性别偏见，表现出显著的偏见，我们探索了两种减轻这种性别偏见的方法，并展示了这种在 WinoBias 数据集上表现出的偏见可以被消除。

Apr, 2019