Jun, 2024

文本嵌入模型中的偏差

PDF
TL;DR这篇论文研究了文本嵌入模型的偏见程度，特别是在性别维度上。分析表明，文本嵌入模型容易出现性别偏见，但表现方式各异。虽然有一些模型之间的共性，例如把护士、家庭主妇和社交女士等职业更多地与女性身份相关联，而把 CEO、经理和老板等职业更多地与男性身份相关联，但并非所有模型对每个职业都做出相同的性别关联。此外，偏见的大小和方向也会因模型和特定提示性词而有所不同。该论文证明了性别偏见对文本嵌入模型的影响，并建议使用这项技术的企业应对这一问题的特定维度保持警惕。
text embeddingbiasgendered dimensionsassociationsgender bias
发现论文，激发创造
  • 去偏见：消除词嵌入中的 “人类是程序员，女性是家庭主妇” 偏见

    对 Google News 文章上的 Word Embedding 进行的实证研究表明，即使是这种非人工制作的大型文本数据，在机器学习和自然语言处理应用中也存在着性别偏见的问题。为了消除这些偏见，我们提出了一种方法进行 Word Embedding 去偏见化，从而减少性别偏见的扩大和助推。

    Jul, 2016

  • 消除嵌入偏见以减少文本分类中的性别偏见

    研究表明，预训练词嵌入可能会的继承训练数据的性别偏见，并探究这种偏见如何影响职业分类任务。该文案例研究发现，传统的去偏方法可能会导致下游分类器的偏见恶化，但我们提出了一种相对较小的调整方法来同时减少偏见并保持高分类精度。

    Aug, 2019

  • 评估上下文词嵌入中的潜在性别偏见

    在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

    Apr, 2019

  • 理解词嵌入中偏见的起源

    使用我们的方法，可以了解到 word embedding 偏差的起源，并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术，并发现我们的影响函数近似非常精确。

    Oct, 2018

  • 量化和减少词嵌入中的刻板印象

    通过研究 word embedding 中的性别特征，开发了一种有效算法，减少性别刻板印象又能保留嵌入的有用几何特性。

    Jun, 2016

  • 利用词嵌入技术消除神经机器翻译中的性别偏差

    本文提出使用词向量以减少神经机器翻译中性别偏见的方法并应用于 Transformer 翻译结构中，通过评估在 WMT 英西标准测试上的结果，展示出一定的性能提高和在职业测试集上消除基线系统已存在的偏见。

    Jan, 2019

  • 识别和减少单词级语言模型中的性别偏见

    本研究以性别为例，用度量方法描述了文本语料中的社会问题偏差。提出了语言模型的正则化损失项以减少性别偏差，最终在多个语料库中验证了该方法的有效性。

    Apr, 2019

  • 文本中当前的拓扑和机器学习应用于偏见检测

    本研究探索了大语言模型的嵌入和几何模型对偏见建模准确度的影响，利用 RedditBias 数据库分析文本偏见，在偏见分类上，BERT，尤其是迷你 BERT，表现出色，而多语言模型则表现较差。研究建议改进单语模型，并探索领域特定的偏见。

    Nov, 2023

  • 词向量中的性别偏见：频率、语法和语义的全面分析

    研究发现，英语语料库中的统计规律将社会中已知的性别偏见编码为词嵌入中的群体偏见。使用单类别词嵌入关联测试，作者发现广泛存在性别偏差，这些偏差在词频、词性标记、语义类别和情绪情感方面均有所不同。男性更倾向于与技术、工程、宗教、体育和暴力等概念相关联，而女性则偏向于涉及外观和厨房等领域。同时，男性相关的词汇具有更强的情绪唤起和主导性，而女性相关的词汇则更加温馨。

    Jun, 2022

  • 我们是否存在一致偏差？对分布式词向量偏差的多维分析

    该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。

    Apr, 2019