Apr, 2019

我们是否存在一致偏差？对分布式词向量偏差的多维分析

PDF
TL;DR该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。
word embeddingssocietal biasesembedding modelscross-lingual biasesnlp models
发现论文，激发创造
  • 分布式词向量空间中隐式和显式去偏见的一般框架

    本论文提出了一个通用的去除词向量中性别、种族等偏见的方法，并通过新的评估指标验证了该框架的有效性，同时在跨语言文本中成功实现了去偏。

    Sep, 2019

  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020

  • 全球之音、地方偏见：跨语言的社会文化偏见

    这项研究通过对 24 种语言进行 Word Embedding Association Test (WEAT) 的扩展，以更广阔的研究视角揭示了语言模型的偏见，并通过在全球范围内捕捉有关每种语言的文化相关信息，进一步提高了数据的质量。文章还展示了对毒性、庸能主义等方面的新偏见维度的研究，并通过对印度六种常用语言进行了全面的地区偏见分析，最后通过对嵌入方法的广泛比较强调了这些社会偏见和新维度的重要性，同时强调了解决这些问题对建立更公平的语言模型的必要性。

    Oct, 2023

  • 评估上下文词嵌入中的潜在性别偏见

    在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

    Apr, 2019

  • 维度变化对词嵌入偏差的影响

    使用英文维基百科语料库，研究了维度变化对词嵌入偏差的影响，结果显示词嵌入的偏差会随着维度变化而显著变化，且对不同的词嵌入方法影响各异，因此在选择词嵌入维度时应考虑这些因素。

    Dec, 2023

  • 理解词嵌入中偏见的起源

    使用我们的方法，可以了解到 word embedding 偏差的起源，并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术，并发现我们的影响函数近似非常精确。

    Oct, 2018

  • 降低词向量中的偏见

    本研究探索检测嵌入式中最具有性别刻板印象的词语并消除偏见的新方法，揭示名字作为性别偏见的携带者的属性，扩展名字的属性来检测嵌入式中其他类型的偏见，如基于种族、年龄的偏见。

    Jan, 2019

  • 我的词嵌入中有哪些偏见？

    本文介绍了一种用于枚举词嵌入中偏差的算法。该算法利用几何模式在公共可用的嵌入中暴露了大量与敏感特征（如种族和性别）相关的冒犯性联想，以及所谓 “消除偏见” 的嵌入。该算法高度不受监督，可用于识别基于社会建构的许多形式的歧视，如种族歧视，这些歧视可能会因上下文而异。同时，我们还展示了如何移除名字可能无法消除潜在的代理偏差。

    Dec, 2018

  • 荷兰语词嵌入的偏差评估

    本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

    Oct, 2020

  • 跨语言词嵌入中，语法性别联系高于主题性别偏见

    研究发现，语义的向量空间模型存在人类文化中不良偏见的问题，特别是主题性别偏见交互作用，并被语法性别偏见效应超过；同时，这些偏见可以通过语料库词形还原得以减轻，这对机器翻译等下游应用有重要的启示。

    May, 2020