EMNLPOct, 2023

多语言模型中偏见的研究：解偏技术的跨语言转移

PDF
TL;DR本文研究了多语言模型中去偏技术的可转移性。我们在英语、法语、德语和荷兰语中检验了这些技术的适用性。利用多语种 BERT（mBERT），我们证明了跨语言的去偏技术不仅可行，而且效果显著。令人惊讶的是，我们的发现表明，在应用这些技术于非英语语言时并不存在性能劣势。我们使用 CrowS-Pairs 数据集的翻译，分析结果表明 SentenceDebias 在不同语言之间是最佳技术，在 mBERT 中平均降低了 13% 的偏见。我们还发现，具有额外预训练的去偏技术在分析的语言中展现了跨语言效果的增强，特别是在低资源语言中。这些新的深入认识有助于对多语种语言模型中的偏见缓解有更深层次的理解，并提供了在不同语言环境中进行去偏技术的实践指导。
transferabilitydebiasing techniquesmultilingual modelscross-lingual transferbias mitigation
发现论文，激发创造
  • 跨语言转移可能会加剧情感分析中的偏见

    通过因果评估测试了跨语言转移在情感分析方面的使用是否导入了性别或种族偏见，并发现跨语言转移的系统通常比其单语对应物更具有偏见，同时我们还发现种族偏见比性别偏见更普遍。

    May, 2023

  • 多语言词嵌入去偏见：以印度三种语言为案例研究

    该论文提出了一种改进的去偏置单语词嵌入方法，以便于能够在跨语言情境下得到良好泛化，通过考虑不同的偏置量化方法以及单 / 多语言情境下不同的去偏置方法，证明了去偏置方法在下游 NLP 应用中的重要性。作者提出的方法在英语以及印地语、孟加拉语和泰卢固语三种印度语言的多语言嵌入中建立了最先进的效果，这将为基于词嵌入的不偏执下游 NLP 应用程序的创建打开新机遇。

    Jul, 2021

  • 预训练语言模型去偏差技术有效性的实证研究

    本文调查了五种最近提出的消除算法：CDA、Dropout、Iterative Nullspace Projection、Self-Debias 和 SentenceDebias 的有效性。实验结果显示，Self-Debias 是最有效的去偏置技术。但是现有去偏置技术在减轻非性别偏差方面表现不一致，同时算法会降低模型的语言建模能力，难以确定去偏置的效果。

    Oct, 2021

  • 大型语言模型中的公平性偏差和去偏差之旅

    这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

    May, 2023

  • 评估和减轻多语言环境中的性别偏见

    这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

    Jul, 2023

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • 分析多种语言 BERT 变体中存在的社会偏见

    本研究探讨了预训练语言模型在不同语言中所存在的偏见，提出了一种基于句子假设度量的模板方法来检测偏见，通过该方法分析了每个单语模型。研究发现，检测偏见的方法高度依赖于语言和文化，需要对每种语言和文化的独特表达方式进行深入了解。而与此相关的，我们假设非英语 BERT 模型中更高的社会偏见指数与其训练的用户生成内容有关。

    Nov, 2022

  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020

  • 一种平衡数据方法用于评估跨语言转移：语言血库的映射

    本文研究表明：BERT 模型的预训练语言的选择影响跨语言转移，基于平衡数据的零 - shot 性能检验表明，改善下游表现的预训练语言被称为捐赠者，而在零 - shot 性能方面得到改善的语言则被称为接受者。我们提出了一种具有二次时间复杂度的方法来估计这些关系，研究结果揭示了该方法在涵盖不同语言特征和两个下游任务的多种语言上的有效性，这可以帮助开发者选择更好的预训练配置。

    May, 2022

  • 先对齐，再预测：理解多语言 BERT 的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021