揭示背景刻板印象：测量和减轻 BERT 的性别偏见

COLINGOct, 2020

揭示背景刻板印象：测量和减轻 BERT 的性别偏见

Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias

Marion Bartl, Malvina Nissim, Albert Gatt

TL;DR研究比较了英语和德语中职业名称和性别指示目标词之间的关联性，并使用 Bert 模型来检测性别偏见，结果表明非常适合英语，但不适合具有丰富的形态和性别标记的德语等语言，本文强调探究偏见和减轻技术的重要性，特别是在大规模，多语言的语言模型中。

Abstract

contextualized word embeddings have been replacing standard embeddings as the representational knowledge source of choice in nlp systems. Since a variety of biases have previously been found in standard word embe

contextualized word embeddings nlp systems gender bias bert counterfactual data substitution

发现论文，激发创造

测量上下文化词表示中的偏见

本研究基于模板方法提出了一种量化 BERT 中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

Jun, 2019

关于测量和减轻词嵌入偏见推断的研究

通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

Aug, 2019

探究 BERT 中的性别偏见

本文以 BERT 为例，分析了上下游情感和情绪强度预测任务中的性别偏见，并提出了一种算法来去除嵌入向量中特定于性别的特征，以减少 BERT 诱发的偏见。

Sep, 2020

评估情境化单词表征中的社会和交叉偏见

本文分析了最先进的语境词表示模型，如 BERT 和 GPT-2，对于性别，种族和交叉身份认同的偏差情况，并提出了一种新颖的方法对词语级别上的偏差进行评估。

Nov, 2019

减轻 BERT 中的语言依赖性民族偏见

本文旨在研究 BERT 等大型语言模型中的偏见问题，特别是种族偏见问题的度量和消除方法，使用了 “Categorical Bias score” 度量方法和两种消除方法，包括多语言模型和两个单语言模型的上下文词对齐方法，并对英语，德语，西班牙语，韩语，土耳其语和中文等多种语言进行验证和比较。结果表明，这些方法可以有效减轻种族偏见问题，但效果取决于该语言的 NLP 资源量。同时，本论文还验证了这些方法适用于更多种语言，如阿拉伯语和希腊语。

Sep, 2021

BERT 中的性别偏见 -- 通过情感评级测量和分析在现实下游分类任务中的偏见

本文分析 Bert 模型的性别偏见，并引入一种新的偏见度量，通过在训练管道中系统地改变元素来综合分析 BERT 的偏见，发现几乎所有条件下都存在重大的性别偏见，结果表明这些偏见源于公共 BERT 模型而非任务特定数据，强调了负责任的使用的重要性。

Jun, 2023

姓名决定性别：利用姓名为基础进行反事实数据替代以减轻性别偏见

研究使用计数因果数据增强（CDA）方法来消除单词嵌入中的性别偏见，使用了 CDA 改进方法和名字干预技术，发现 CDA 变种在消除直接性别偏见和绘制非偏性别类比任务上比传统的基于投影方法表现更好。CDA/S 是唯一一个能够减轻间接性别偏差：在去偏后，以前有偏见的单词根据性别聚集的情况显着减少，从而改善去偏的最新技术水平。

Sep, 2019

评估上下文词嵌入中的潜在性别偏见

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

神经自然语言处理中的性别偏见

本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

Jul, 2018

荷兰语词嵌入的偏差评估

本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

Oct, 2020