通过因果评估测试了跨语言转移在情感分析方面的使用是否导入了性别或种族偏见，并发现跨语言转移的系统通常比其单语对应物更具有偏见，同时我们还发现种族偏见比性别偏见更普遍。

May, 2023

本文旨在量化并减少语言模型中表现出的情感偏见，该文分析了在给定的条件下（例如写作提示）和语言模型中，引起生成的文本情感发生变化的敏感属性（例如国家名称，职业，性别）的值变化的影响。我们采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在两种不同的语料库（新闻文章和维基百科）上训练的大规模模型存在相当高的偏见。我们随后提出使用嵌入和情感预测导出的正则化方法，该方法应用于语言模型的潜在表示。该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。

Nov, 2019

本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集，即 Equity Evaluation Corpus (EEC)，基于此数据集，我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统，发现其中多个系统在种族或性别方面存在显著的偏差，结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。

May, 2018

本研究使用多语言和交叉框架以及下游任务研究公平性问题，提出四个多语言公平评估语料库和一个新的统计框架来研究自然语言处理中的社会偏见，结果表明许多系统在性别、种族、民族和交叉社会偏见方面表现出显著的偏见。

Apr, 2022

最近的神经方法在神经机器翻译（NMT）系统质量方面取得了重大进展。然而，这些系统经常会产生具有不准确性别的翻译，这可以追溯到训练数据中的偏见。Saunders 和 Byrne 通过使用一个包含平衡性别职业词的手工制作数据集来解决这个问题。通过使用这个数据来微调现有的 NMT 模型，他们证明了性别偏见可以显著减轻，尽管这会导致由于灾难性遗忘而降低翻译质量。然而，我们发现，简单地补充手工制作的数据集与基础模型训练语料库的随机样本就足以显著减少灾难性遗忘。我们还提出了一种新颖的领域自适应技术，利用 Zmigrod 等人提出的反事实数据生成技术创建的领域内数据，在不显著降低翻译质量的情况下进一步提高 WinoMT 挑战测试集的准确性。我们展示了它在从英语到三种形态丰富的语言（法语、西班牙语和意大利语）的 NMT 系统中的有效性。相关数据集和代码将在 Github 上提供。

Nov, 2023

应用一种方法，量化与各国命名实体相关的偏见。通过对目标领域数据进行微小扰动创造反事实例子，而不是依赖于模板或特定数据集来检测偏见。在包括情感、情绪、仇恨言辞和冒犯性文本的推特数据上应用广泛使用的主观分析分类器，我们的结果表明，与一个国家的语言相关的正向偏见存在于所有研究的分类器中。值得注意的是，句子中特定的国家名称可以强烈影响预测结果，仇恨言辞检测中的变化最高可达 23％，负面情绪（例如愤怒）的预测结果变化最高可达 60％。我们假设这些偏见源于预训练语言模型（PLMs）的训练数据，并发现了英语和巴斯克语、毛利语等未知语言在情感预测和 PLMs 可能性之间的相关性，揭示了明显的模式。此外，我们在同一个句子的反事实例子之间跟踪这些相关性，去除了语法组成部分，发现有趣的结果表明预训练数据对于英语国家名称更为重要。我们的匿名代码可以在 [this https URL]（此处提供）找到。

Jul, 2024

本文提出了一种名为 BisaFinder 的方法，通过元测试从大型语料库中提取文本，通过自动筛选适当的模板填充特定人口统计特征的占位符，然后使用这些文本进行偏差检测，结果表明 BisaFinder 可以有效地创建许多流畅且多样化的测试用例来发现情感分析系统中的各种偏差。

Feb, 2021

通过 SVM 和 Naive Bayes 模型，该研究在统计加拿大关于 “双语自然语言处理中的偏见考虑” 的报告的启发下，探讨了英法多语情感分析中可能存在的偏见问题。通过使用三个平衡数据集进行实验，发现情感分类存在潜在的多语言偏见。实验结果表明，SVM 方法在三个数据集上表现出接近公平水平，而 Naive Bayes 方法则存在更大的差异。这些发现揭示了开发公平的多语言自然语言处理系统的重要性，特别是随着未来更多语言数据集的纳入。

May, 2024

提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

Jun, 2021

本论文对多种语言进行偏见分析，研究多语言数据训练与单语言数据训练对 Bias 的影响并使用情感分析模型来观察不同民族是否被更正面地看待，结果发现多语言 Finetuning 导致对保护群体的预测变异性增加，表明了 Bias 的放大效应。

May, 2023