Jul, 2021

多语言词嵌入去偏见：以印度三种语言为案例研究

PDF
TL;DR该论文提出了一种改进的去偏置单语词嵌入方法，以便于能够在跨语言情境下得到良好泛化，通过考虑不同的偏置量化方法以及单 / 多语言情境下不同的去偏置方法，证明了去偏置方法在下游 NLP 应用中的重要性。作者提出的方法在英语以及印地语、孟加拉语和泰卢固语三种印度语言的多语言嵌入中建立了最先进的效果，这将为基于词嵌入的不偏执下游 NLP 应用程序的创建打开新机遇。
debiasingmultilingualnlpword embeddingsindian languages
发现论文，激发创造
  • 评估和减轻多语言环境中的性别偏见

    这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

    Jul, 2023

  • 消除词嵌入中的偏见改善多模式机器翻译

    本研究探讨了预训练词嵌入及其在多模式神经机器翻译模型中的应用，引入两种去偏差技术，并在英德翻译和英法翻译两种语言对上获得了最多 + 1.93 BLEU 和 + 2.02 METEOR 的性能提升。

    May, 2019

  • 印度语言的多语言偏见检测和缓解

    缺乏多元观点导致维基百科内容中的中立偏见，从而使数百万全球读者接触到潜在的不准确信息。因此，中立偏见的检测和缓解是一个关键问题。我们为此提供了两个大型数据集 mWikiBias 和 mWNC，分别涵盖 8 种语言，用于中立偏见的检测和缓解任务。接下来，我们通过将检测建模为二元分类问题和将缓解建模为样式转换问题，研究了流行的多语言基于 Transformer 的模型在这两个任务中的有效性。我们将代码和数据公开提供。

    Dec, 2023

  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020

  • 多语言模型中偏见的研究：解偏技术的跨语言转移

    本文研究了多语言模型中去偏技术的可转移性。我们在英语、法语、德语和荷兰语中检验了这些技术的适用性。利用多语种 BERT（mBERT），我们证明了跨语言的去偏技术不仅可行，而且效果显著。令人惊讶的是，我们的发现表明，在应用这些技术于非英语语言时并不存在性能劣势。我们使用 CrowS-Pairs 数据集的翻译，分析结果表明 SentenceDebias 在不同语言之间是最佳技术，在 mBERT 中平均降低了 13% 的偏见。我们还发现，具有额外预训练的去偏技术在分析的语言中展现了跨语言效果的增强，特别是在低资源语言中。这些新的深入认识有助于对多语种语言模型中的偏见缓解有更深层次的理解，并提供了在不同语言环境中进行去偏技术的实践指导。

    Oct, 2023

  • 从偏见到平等：消除大型语言模型词向量偏差的新方法

    我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

    Feb, 2024

  • 全球之音、地方偏见：跨语言的社会文化偏见

    这项研究通过对 24 种语言进行 Word Embedding Association Test (WEAT) 的扩展，以更广阔的研究视角揭示了语言模型的偏见，并通过在全球范围内捕捉有关每种语言的文化相关信息，进一步提高了数据的质量。文章还展示了对毒性、庸能主义等方面的新偏见维度的研究，并通过对印度六种常用语言进行了全面的地区偏见分析，最后通过对嵌入方法的广泛比较强调了这些社会偏见和新维度的重要性，同时强调了解决这些问题对建立更公平的语言模型的必要性。

    Oct, 2023

  • 评估印地语 - 英语机器翻译中的性别偏见

    本研究旨在评估和量化印地 - 英语机器翻译系统中的性别偏见，并实现了一种基于语法考虑的修改版本的现有 TGBI 度量标准，同时比较了预先训练的嵌入和我们的机器翻译模型所学习的嵌入的多个指标上产生的偏差测量结果。

    Jun, 2021

  • 减轻 BERT 中的语言依赖性民族偏见

    本文旨在研究 BERT 等大型语言模型中的偏见问题，特别是种族偏见问题的度量和消除方法，使用了 “Categorical Bias score” 度量方法和两种消除方法，包括多语言模型和两个单语言模型的上下文词对齐方法，并对英语，德语，西班牙语，韩语，土耳其语和中文等多种语言进行验证和比较。结果表明，这些方法可以有效减轻种族偏见问题，但效果取决于该语言的 NLP 资源量。同时，本论文还验证了这些方法适用于更多种语言，如阿拉伯语和希腊语。

    Sep, 2021

  • 预训练印度语言模型的高效性别去偏见

    本文针对印度语言，量化职业中的性别偏见，并通过有效的微调方法减缓其中存在的偏见，以建立更公平的系统。

    Sep, 2022