关于测量和减轻词嵌入偏见推断的研究
研究比较了英语和德语中职业名称和性别指示目标词之间的关联性,并使用 Bert 模型来检测性别偏见,结果表明非常适合英语,但不适合具有丰富的形态和性别标记的德语等语言,本文强调探究偏见和减轻技术的重要性,特别是在大规模,多语言的语言模型中。
Oct, 2020
本研究探索检测嵌入式中最具有性别刻板印象的词语并消除偏见的新方法,揭示名字作为性别偏见的携带者的属性,扩展名字的属性来检测嵌入式中其他类型的偏见,如基于种族、年龄的偏见。
Jan, 2019
本文提出了一种名为 BIRM (Biased Indirect Relationship Modification) 的新方法,该方法考虑到偏见因子对词对出现概率的影响,并在学习嵌入之前修改词之间的偏见关系,以缓解分布式词嵌入中的间接偏见现象。我们还扩展了词嵌入关联测试(WEAT),提出了新的测试集来测试间接的二元性别刻板印象,并展示了这些新颖测试集下的更深层次、更微妙的刻板印象存在。结果表明,该方法能够降低词嵌入中偏见程度,虽然降低了语义嵌入质量,但对更为平等的非刻板嵌入是迈向关键的一步。
May, 2023
使用我们的方法,可以了解到 word embedding 偏差的起源,并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术,并发现我们的影响函数近似非常精确。
Oct, 2018
本研究基于模板方法提出了一种量化 BERT 中偏见的方法,并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性,同时也指出了该方法的普遍适用性,包括在多类别设置中使用的种族和宗教偏见。
Jun, 2019
本研究在 Word Embedding Association Test 的基础上,对句子编码进行了偏差测量,实验包括了包括 ELMo 和 BERT 在内的多种方法,并提议了未来的研究方向。
Mar, 2019
本文中,我们量化、分析和减轻了 ELMo 上表现的性别偏见。通过内在分析和实验,我们发现 ELMo 的训练数据中包含男性实体比女性实体多,其编码的词向量中存在性别信息,且男性和女性实体所包含的性别信息不平等。同时,我们发现最前沿的指代消解系统很大程度上依赖 ELMo,继承了 ELMo 的性别偏见,表现出显著的偏见,我们探索了两种减轻这种性别偏见的方法,并展示了这种在 WinoBias 数据集上表现出的偏见可以被消除。
Apr, 2019
本研究提出了一种基于统计依存关系的方法来消除词向量关系中的性别偏差,有效避免了词向量关系中存在的性别偏见问题,并在多个联想任务中实现了最先进的结果。
Nov, 2019