Sep, 2021

评估词向量性别偏差度量的可靠性

HTML
PDF
TL;DR本研究评估了三种类型的词嵌入性别偏见度量的可信度，包括测试再测试可靠性、评分者一致性和内部一致性，并考察了不同随机种子、评分规则和单词选择等因素对可信度的影响，结果有助于更好地设计性别偏差度量，同时也建议研究者对这些度量的应用更加持批判态度。
发现论文，激发创造
  • 量化和减少词嵌入中的刻板印象

    通过研究word embedding中的性别特征，开发了一种有效算法，减少性别刻板印象又能保留嵌入的有用几何特性。

    Jun, 2016

  • 猪涂口红：去偏置方法虽然掩盖了词嵌入中系统性的性别偏差，但并未消除它们

    本研究探讨了文本话语中的性别偏见现象，评估了现有去偏置模型的实际效果，认为现有去偏置方法虽然在表面上达到了降低偏见的效果，但实际上却只是掩盖了偏见，并认为现有技术不足以构建性别中性的计算模型。

    Mar, 2019

  • 评估上下文词嵌入中的潜在性别偏见

    在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

    Apr, 2019

  • 测量上下文化词表示中的偏见

    本研究基于模板方法提出了一种量化BERT中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

    Jun, 2019

  • 探讨具有语法性别的语言中的性别偏见

    该研究提出了一种新的度量标准来评估西班牙语和法语等语言中的词嵌入性别偏见，并进一步证明了双语词嵌入与英文词嵌入存在性别偏见的一致性。同时作者还提供了一种新的方法用于缓解这种偏见。实验结果表明这些方法有效地减少了性别偏见，同时也保持了嵌入向量的实用性。

    Sep, 2019

  • 词嵌入何时能准确反映我们对人们的信念调查结果？

    本文研究了公开可得的单词嵌入在某些社会层面上的偏见反映了实际调查数据，但并非所有维度的数据都能得到反映，只有最显著的偏见维度，例如性别方面，才能得到准确的反映。

    Apr, 2020

  • 基于词向量的性别偏见评估的鲁棒性和可靠性：碱基对的作用

    研究表明单词嵌入存在性别偏见，过去常常以男女性词对来衡量性别偏见，但这种方式存在局限性，因为它们无法识别现实世界中的其他类型偏见，并且不能很好地指示偏见。

    Oct, 2020

  • 揭示背景刻板印象：测量和减轻BERT 的性别偏见

    研究比较了英语和德语中职业名称和性别指示目标词之间的关联性，并使用Bert模型来检测性别偏见，结果表明非常适合英语，但不适合具有丰富的形态和性别标记的德语等语言，本文强调探究偏见和减轻技术的重要性，特别是在大规模，多语言的语言模型中。

    Oct, 2020

  • 荷兰语词嵌入的偏差评估

    本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

    Oct, 2020

  • 基于词嵌入的性别偏见度量的不良频率依赖性

    本文研究了使用基于词嵌入的偏差度量方法在衡量女性和男性性别偏差时词频对结果的影响，并发现 Skip-gram with negative sampling 和 GloVe 往往会在高频词中检测到男性偏见，而 GloVe 往往会在低频词中检测到女性偏见，并进一步通过与基于点互信息的替代度量方法进行比较，证明了频率对度量结果的影响来自度量本身而非词汇相关性，这种影响是虚假和有问题的，因为偏见度量应该专门依赖于词共现而不是个体词频，尽管基于点互信息的度量略微偏向男性，但它并不表现出清晰的频率依赖关系。

    Jan, 2023