消除嵌入偏见以减少文本分类中的性别偏见

Aug, 2019

消除嵌入偏见以减少文本分类中的性别偏见

Debiasing Embeddings for Reduced Gender Bias in Text Classification

Flavien Prost, Nithum Thain, Tolga Bolukbasi

TL;DR研究表明，预训练词嵌入可能会的继承训练数据的性别偏见，并探究这种偏见如何影响职业分类任务。该文案例研究发现，传统的去偏方法可能会导致下游分类器的偏见恶化，但我们提出了一种相对较小的调整方法来同时减少偏见并保持高分类精度。

Abstract

(Bolukbasi et al., 2016) demonstrated that pretrained word embeddings can inherit gender bias from the data they were trained on. We investigate how this bias affects downstream classification tasks, using the ca

pretrained word embeddings gender bias occupation classification debiasing embeddings classification accuracy

发现论文，激发创造

预训练词嵌入的性别保持去偏置

该研究提出了一种针对 word embeddings 中性别偏见问题的去偏方法，通过保留与性别相关、非歧视性别信息的同时，去除预先训练好的 word embeddings 中的刻板性别歧视偏差，实验结果表明该方法在保留性别相关但非歧视性别信息的同时，能够更好地去偏，适用于一系列 benchmark 数据集和 NLP 应用。

Jun, 2019

双重强化去偏见：定制化词向量以降低性别偏见

本文研究了人类生成语料库（human-generated corpora）中由来的单词嵌入（word embeddings）存在着的性别偏见问题，以及已有的性别去偏置（debiasing）方法的局限性；在此基础上，提出了一种新的技术，Double Hard Debias，该技术能够在推断并去除性别子空间之前，首先过滤掉语料库中存储的单词使用频率等无关因素。实验证明，与之前的方法相比，本文提出的技术不仅保留了预训练好的单词嵌入的分布语义（distributional semantics），而且能够更有效地降低性别偏见。

May, 2020

荷兰语词嵌入的偏差评估

本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

Oct, 2020

量化和减少词嵌入中的刻板印象

通过研究 word embedding 中的性别特征，开发了一种有效算法，减少性别刻板印象又能保留嵌入的有用几何特性。

Jun, 2016

评估上下文词嵌入中的潜在性别偏见

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

通过因果推断实现词嵌入：减少性别偏见并保留语义信息

通过提出一种基于因果推断框架的新方法来有效消除性别偏见，该方法可以在保留嵌入式语义信息的同时构建和分析性别信息流的复杂因果机制，从而在性别去偏任务中取得最新的技术结果。

Dec, 2021

理解词嵌入中偏见的起源

使用我们的方法，可以了解到 word embedding 偏差的起源，并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术，并发现我们的影响函数近似非常精确。

Oct, 2018

关于测量和减轻词嵌入偏见推断的研究

通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

Aug, 2019

猪涂口红：去偏置方法虽然掩盖了词嵌入中系统性的性别偏差，但并未消除它们

本研究探讨了文本话语中的性别偏见现象，评估了现有去偏置模型的实际效果，认为现有去偏置方法虽然在表面上达到了降低偏见的效果，但实际上却只是掩盖了偏见，并认为现有技术不足以构建性别中性的计算模型。

Mar, 2019

文本嵌入模型中的偏差

这篇论文研究了文本嵌入模型的偏见程度，特别是在性别维度上。分析表明，文本嵌入模型容易出现性别偏见，但表现方式各异。虽然有一些模型之间的共性，例如把护士、家庭主妇和社交女士等职业更多地与女性身份相关联，而把 CEO、经理和老板等职业更多地与男性身份相关联，但并非所有模型对每个职业都做出相同的性别关联。此外，偏见的大小和方向也会因模型和特定提示性词而有所不同。该论文证明了性别偏见对文本嵌入模型的影响，并建议使用这项技术的企业应对这一问题的特定维度保持警惕。

Jun, 2024