ACLAug, 2019

理解不良词嵌入关联

PDF
TL;DR通过子空间投影去除 word embeddings 文本中性别刻板印象，提出了一种新的关联度量 RIPA，发现 skipgram with negative sampling (SGNS) 在训练语料库中并未增加文本准确性别聚类，但对性别刻板印象词汇却增强其性别关联。
word embeddingsgender stereotypesdebiasingsubspace projectionassociation test
发现论文，激发创造
  • 我的词嵌入中有哪些偏见？

    本文介绍了一种用于枚举词嵌入中偏差的算法。该算法利用几何模式在公共可用的嵌入中暴露了大量与敏感特征（如种族和性别）相关的冒犯性联想，以及所谓 “消除偏见” 的嵌入。该算法高度不受监督，可用于识别基于社会建构的许多形式的歧视，如种族歧视，这些歧视可能会因上下文而异。同时，我们还展示了如何移除名字可能无法消除潜在的代理偏差。

    Dec, 2018

  • 检测和减轻词嵌入中的间接刻板印象

    本文提出了一种名为 BIRM (Biased Indirect Relationship Modification) 的新方法，该方法考虑到偏见因子对词对出现概率的影响，并在学习嵌入之前修改词之间的偏见关系，以缓解分布式词嵌入中的间接偏见现象。我们还扩展了词嵌入关联测试（WEAT），提出了新的测试集来测试间接的二元性别刻板印象，并展示了这些新颖测试集下的更深层次、更微妙的刻板印象存在。结果表明，该方法能够降低词嵌入中偏见程度，虽然降低了语义嵌入质量，但对更为平等的非刻板嵌入是迈向关键的一步。

    May, 2023

  • 词嵌入的地理负偏差预测种族敌意 —— 仅通过姓名频率

    该论文研究了使用 word embeddings 进行测量种族偏见时出现的问题，结果表明需要考虑 term frequency，同时还展示了使用 black-box 模型研究人类认知和行为潜在后果。

    Jan, 2022

  • 护士比外科医生更接近女性？缓解词向量中的性别偏见距离

    提出了一种名为 RAN-Debias 的新型性别去偏置方法，可以在不干扰语义的情况下消除词向量中的偏见，并可以改变其相邻向量的空间分布，从而实现无偏置设置，并可用于核指消解等下游应用任务。

    Jun, 2020

  • 一种因果推断方法用于减少词嵌入关系中的性别偏见

    本研究提出了一种基于统计依存关系的方法来消除词向量关系中的性别偏差，有效避免了词向量关系中存在的性别偏见问题，并在多个联想任务中实现了最先进的结果。

    Nov, 2019

  • 跨语言词嵌入中，语法性别联系高于主题性别偏见

    研究发现，语义的向量空间模型存在人类文化中不良偏见的问题，特别是主题性别偏见交互作用，并被语法性别偏见效应超过；同时，这些偏见可以通过语料库词形还原得以减轻，这对机器翻译等下游应用有重要的启示。

    May, 2020

  • 基于词嵌入的性别偏见度量的不良频率依赖性

    本文研究了使用基于词嵌入的偏差度量方法在衡量女性和男性性别偏差时词频对结果的影响，并发现 Skip-gram with negative sampling 和 GloVe 往往会在高频词中检测到男性偏见，而 GloVe 往往会在低频词中检测到女性偏见，并进一步通过与基于点互信息的替代度量方法进行比较，证明了频率对度量结果的影响来自度量本身而非词汇相关性，这种影响是虚假和有问题的，因为偏见度量应该专门依赖于词共现而不是个体词频，尽管基于点互信息的度量略微偏向男性，但它并不表现出清晰的频率依赖关系。

    Jan, 2023

  • 关于测量和减轻词嵌入偏见推断的研究

    通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

    Aug, 2019

  • 自然语言生成自动评估度量中的社会偏见

    该论文提出了一种基于 WEAT 和 SEAT 的方法来量化评价指标中的社会偏见，发现在一些基于模型的自动评价指标中也存在广泛的社会偏见，并构建了性别交换的元评价数据集来研究在图像标题和文本摘要任务中性别偏见的潜在影响。结果表明，基于模型的评价指标在评估中给予男性假设更多的偏好，并且在性别交换后评估指标与人类判断之间的相关性通常具有更大的变化。

    Oct, 2022

  • 词嵌入联合多类别去偏置

    本文提出了一种联合多类去偏差方法 SoftWEAT，它可以在减少多个偏差方面取得良好的结果，并通过在三个不同的公开数据集上进行实验，在三个偏差分类（宗教、性别和种族）中去偏差 Word Embeddings，显示出其可行性，同时维持着词嵌入中向量的有意义关系，从而加强了更具代表性的文本数据的基础。

    Mar, 2020