使用潜在解缠和反事实生成消除词嵌入中的性别偏见

EMNLPApr, 2020

使用潜在解缠和反事实生成消除词嵌入中的性别偏见

Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation

Seungjae Shin, Kyungwoo Song, JoonHo Jang, Hyemi Kim, Weonyoung Joo...

TL;DR通过 siamese auto-encoder 和 adapted gradient reversal layer 的方法，我们提出了一种注意 semantic latent 信息和 gender latent 信息的词向量去偏见化的方法，同时减小语义信息损失，显著优于现有的去偏见化方法，并适用于人工语料库的下游 NLP 任务。

Abstract

Recent research demonstrates that word embeddings, trained on the human-generated corpus, have strong gender biases in embedding spaces, and these biases can result in the discriminative results from the various downstream tasks. Whereas the previous methods project →

word embeddings gender bias latent disentanglement counterfactual generation nlp

发现论文，激发创造

通过因果推断实现词嵌入：减少性别偏见并保留语义信息

通过提出一种基于因果推断框架的新方法来有效消除性别偏见，该方法可以在保留嵌入式语义信息的同时构建和分析性别信息流的复杂因果机制，从而在性别去偏任务中取得最新的技术结果。

Dec, 2021

双重强化去偏见：定制化词向量以降低性别偏见

本文研究了人类生成语料库（human-generated corpora）中由来的单词嵌入（word embeddings）存在着的性别偏见问题，以及已有的性别去偏置（debiasing）方法的局限性；在此基础上，提出了一种新的技术，Double Hard Debias，该技术能够在推断并去除性别子空间之前，首先过滤掉语料库中存储的单词使用频率等无关因素。实验证明，与之前的方法相比，本文提出的技术不仅保留了预训练好的单词嵌入的分布语义（distributional semantics），而且能够更有效地降低性别偏见。

May, 2020

预训练词嵌入的性别保持去偏置

该研究提出了一种针对 word embeddings 中性别偏见问题的去偏方法，通过保留与性别相关、非歧视性别信息的同时，去除预先训练好的 word embeddings 中的刻板性别歧视偏差，实验结果表明该方法在保留性别相关但非歧视性别信息的同时，能够更好地去偏，适用于一系列 benchmark 数据集和 NLP 应用。

Jun, 2019

一种因果推断方法用于减少词嵌入关系中的性别偏见

本研究提出了一种基于统计依存关系的方法来消除词向量关系中的性别偏差，有效避免了词向量关系中存在的性别偏见问题，并在多个联想任务中实现了最先进的结果。

Nov, 2019

探究 BERT 中的性别偏见

本文以 BERT 为例，分析了上下游情感和情绪强度预测任务中的性别偏见，并提出了一种算法来去除嵌入向量中特定于性别的特征，以减少 BERT 诱发的偏见。

Sep, 2020

猪涂口红：去偏置方法虽然掩盖了词嵌入中系统性的性别偏差，但并未消除它们

本研究探讨了文本话语中的性别偏见现象，评估了现有去偏置模型的实际效果，认为现有去偏置方法虽然在表面上达到了降低偏见的效果，但实际上却只是掩盖了偏见，并认为现有技术不足以构建性别中性的计算模型。

Mar, 2019

学习性别中性词嵌入

本文提出了一种基于新颖训练过程的性别中性词向量的学习方法，通过在某些维度中保留性别信息并让其他维度不受性别影响的方法，成功地建立了一种 GN-GloVe 的性别中性变体，该变体在保留嵌入模型功能的基础上隔离了性别信息，并得到了定量和定性实验证实。

Aug, 2018

利用词嵌入技术消除神经机器翻译中的性别偏差

本文提出使用词向量以减少神经机器翻译中性别偏见的方法并应用于 Transformer 翻译结构中，通过评估在 WMT 英西标准测试上的结果，展示出一定的性能提高和在职业测试集上消除基线系统已存在的偏见。

Jan, 2019

姓名决定性别：利用姓名为基础进行反事实数据替代以减轻性别偏见

研究使用计数因果数据增强（CDA）方法来消除单词嵌入中的性别偏见，使用了 CDA 改进方法和名字干预技术，发现 CDA 变种在消除直接性别偏见和绘制非偏性别类比任务上比传统的基于投影方法表现更好。CDA/S 是唯一一个能够减轻间接性别偏差：在去偏后，以前有偏见的单词根据性别聚集的情况显着减少，从而改善去偏的最新技术水平。

Sep, 2019

使用反事实数据生成减少机器翻译中的性别偏见

最近的神经方法在神经机器翻译（NMT）系统质量方面取得了重大进展。然而，这些系统经常会产生具有不准确性别的翻译，这可以追溯到训练数据中的偏见。Saunders 和 Byrne 通过使用一个包含平衡性别职业词的手工制作数据集来解决这个问题。通过使用这个数据来微调现有的 NMT 模型，他们证明了性别偏见可以显著减轻，尽管这会导致由于灾难性遗忘而降低翻译质量。然而，我们发现，简单地补充手工制作的数据集与基础模型训练语料库的随机样本就足以显著减少灾难性遗忘。我们还提出了一种新颖的领域自适应技术，利用 Zmigrod 等人提出的反事实数据生成技术创建的领域内数据，在不显著降低翻译质量的情况下进一步提高 WinoMT 挑战测试集的准确性。我们展示了它在从英语到三种形态丰富的语言（法语、西班牙语和意大利语）的 NMT 系统中的有效性。相关数据集和代码将在 Github 上提供。

Nov, 2023