通过构建评估语料库，我们针对四种语言进行了性别、种族和移民偏见的对比评估，揭示了预训练模型对系统所引入的偏见，并提出更针对性的缓解策略。

May, 2023

通过开发一个全面而健壮的框架 “Nbias”，我们能够检测和消除文本数据中的偏见，以确保数据的公正和道德使用。该框架包括数据层、语料库构建、模型开发层和评估层，并应用了基于 transformer 的标记分类模型识别具有独特命名实体的偏见词语 / 短语。通过定量和定性评估的混合方法，我们取得了 1% 至 8% 的准确率改进，同时还能全面理解模型的性能，捕捉其数量数据以及质量和复杂性的特征。该方法适用于各种偏见，并促进了文本数据的公正和道德使用。

Aug, 2023

通过评估情感分析系统（SAS）在黑盒环境中，加入人工生成的聊天机器人数据集以及往返翻译设置，我们发现这些设置更真实地展现了 SAS 在现实中的表现，揭示了 SAS 在聊天机器人数据中存在更多偏见，而使用西班牙语和丹麦语作为中介语言往返翻译能减少人工生成数据中的偏见（最多可减少 68%），而在合成数据中则会增加偏见！这些发现将帮助研究人员和从业人员完善 SAS 测试策略，增强对 SAS 的信任，因为 SAS 被认为是全球性更为关键的应用的一部分。

Jan, 2024

本文介绍了一种评估情感分析系统漏洞的新方法，通过在受保护变量上控制调节输入以测试输出的情感是否对其敏感，给 SASs 分配标签（评分），以此评估其对输入变化的强度和鲁棒性，提高公平性，尤其对于开发人员寻找有效的信息来构建更大型的 AI 系统非常有用。

Feb, 2023

通过因果评估测试了跨语言转移在情感分析方面的使用是否导入了性别或种族偏见，并发现跨语言转移的系统通常比其单语对应物更具有偏见，同时我们还发现种族偏见比性别偏见更普遍。

May, 2023

提出自动化框架 BiasAsker，通过构建包含 841 个社会群体和 8110 个有偏见属性的、综合性的社会偏见数据集，使用存在性测量的新方法，识别并衡量对话 AI 系统中的绝对偏见和相关偏见，对 8 个商业系统和 ChatGPT、GPT-3 等两个著名的研究模型进行广泛实验，结果表明，BiasAsker 生成的 32.83％的问题可以触发这些广泛部署的对话系统中的有偏见行为。

May, 2023

本文探讨机器翻译在情感分析模型的分类中可能引入的偏见，并测试了三个开放式的机器翻译模型在五种不同语言的平行语料库上的表现，统计结果表明出现了标签概率分布的偏移，但没有一个是足够一致的使我们认为翻译过程会引入偏见。

Jun, 2023

本文探讨了在情感和毒性分类模型中对残障人士的歧视问题，并提出了测试工具以检测情感分析模型对残障人士的偏见。结果表明，四种广泛使用的情感分析工具和两种毒性分析模型都存在指涉残障人士的负面偏见。

Nov, 2021

本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集，即 Equity Evaluation Corpus (EEC)，基于此数据集，我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统，发现其中多个系统在种族或性别方面存在显著的偏差，结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。

May, 2018

本文旨在量化并减少语言模型中表现出的情感偏见，该文分析了在给定的条件下（例如写作提示）和语言模型中，引起生成的文本情感发生变化的敏感属性（例如国家名称，职业，性别）的值变化的影响。我们采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在两种不同的语料库（新闻文章和维基百科）上训练的大规模模型存在相当高的偏见。我们随后提出使用嵌入和情感预测导出的正则化方法，该方法应用于语言模型的潜在表示。该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。

Nov, 2019