May, 2023

跨语言综合偏差：扩展描述和模式以揭示大规模语言中的人口统计学偏差

PDF
TL;DR介绍了一个多语言扩展的 HOLISTICBIAS 数据集，提供了一个综合的人称参考英语模板分类法，旨在发现人口统计不平衡并量化缓解措施。初步研究表明，在评估平均人类阅读者时，EN-to-XX 翻译的质量比女性更好，而对于主题相同但性别不同的情况，则男性翻译平均比女性更好。在将句子嵌入到联合多语言句子表示空间时，我们发现对于大多数语言，男性翻译与英语中性句子更接近。
发现论文，激发创造
  • 朝着大规模多语言整体偏见

    在当前自动生成语言的研究领域，随着现有模型变得越来越多语种化，有必要了解、评估和减轻人口统计偏见。为了解决这个问题，我们提出了 MASSIVE MULTILINGUAL HOLISTICBIAS（MMHB）数据集和基准测试，初始使用八种语言，包含大约 600 万个句子，代表了 13 个人口统计轴。我们提出了一种自动构建方法，通过有限的人工标注来进一步扩展 MMHB 句子的语言覆盖范围和规模。我们的方法利用多语言句子构建中的占位符，并采用一种系统的方法来独立翻译句子模式、名词和描述词。结合人工翻译，该技术精心设计占位符，以动态生成多个句子变体，并显著减少人工翻译工作量。为了避免基于英文的视角，并包括需要的所有语言的形态变化，翻译过程已进行了精心的处理，从原始的英文 HOLISTICBIAS 进行改进。最后，我们利用 MMHB 在机器翻译任务中报告了性别偏见和增加的毒性。通过性别分析，MMHB 揭示了：(1) 缺乏性别鲁棒性，对于男性语义句子，CHRF 指标平均比女性的高出将近 4 个百分点；(2) 趋向于过度普遍化到男性形式，对于男性参考文献，CHRF 指标平均比女性的高出将近 12 个百分点。MMHB 引发了高达 2.3% 的增加毒性。

    Jun, 2024

  • 在综合描述符数据集中发现语言模型中的新偏见

    本文介绍了一种全新的包含 13 个不同人口统计学轴线近 600 个描述符的、基于 HolisticBias 的更加包容性的偏差测量数据集，结合一组偏差测量模板产生超过 45 万个独特的句子提示，用于探索、识别和减少几个生成模型中的新型偏差。

    May, 2022

  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020

  • 不同语言中的典型偏见有多大差异？

    通过系统地分析使用不同语言、单语和多语模型、不同架构的偏向性，扩展了评估预训练英语语言模型中的刻板偏见的研究范围，发现在多语言环境下分析是非常重要的，并且公布了代码库以及翻译数据集的实用指南以鼓励将我们的工作进一步扩展到其他语言。

    Jul, 2023

  • 评估和减轻多语言环境中的性别偏见

    这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

    Jul, 2023

  • 利用大型语言模型衡量性别化语言中的性别偏见

    该论文介绍了一种利用大型语言模型对西班牙语语料库进行定量分析性别表达的新方法，通过识别和分类与人类实体相关的具有性别特征的名词和代词，揭示了四个广泛使用的基准数据集中存在的显著性别差异，从男性到女性的比例范围从 4:1 到 6:1，这些发现证明了我们方法在性别语言中进行偏见量化的价值，并建议在自然语言处理中应用该方法，为更公平的语言技术发展做出贡献。

    Jun, 2024

  • 多语言文本分类中缓解性别偏见的易于适应性

    本论文研究在多语言环境下，通过将性别视为领域，利用标准领域适应模型减少性别偏见，提高文本分类器的性能，并在两个文本分类任务中评估方法，证明了该方法的有效性，同时使用三个公平感知的基线进行了实验。

    Apr, 2022

  • 分析多种语言 BERT 变体中存在的社会偏见

    本研究探讨了预训练语言模型在不同语言中所存在的偏见，提出了一种基于句子假设度量的模板方法来检测偏见，通过该方法分析了每个单语模型。研究发现，检测偏见的方法高度依赖于语言和文化，需要对每种语言和文化的独特表达方式进行深入了解。而与此相关的，我们假设非英语 BERT 模型中更高的社会偏见指数与其训练的用户生成内容有关。

    Nov, 2022

  • 为指代消解和机器翻译收集大规模性别偏置数据集

    通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含 108k 多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在 www.github.com/SLAB-NLP/BUG 上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

    Sep, 2021

  • 比较多语言训练的偏差及其影响

    本论文对多种语言进行偏见分析，研究多语言数据训练与单语言数据训练对 Bias 的影响并使用情感分析模型来观察不同民族是否被更正面地看待，结果发现多语言 Finetuning 导致对保护群体的预测变异性增加，表明了 Bias 的放大效应。

    May, 2023