本文研究了预训练语言模型的生成文本中存在的人类偏见和其对不同人口群体的影响，针对现有的评估技术和基准的准确性问题，提出了新的评估框架以更稳健地测量和量化语言模型所表现出的偏见。并使用该框架调查了 GPT-3 的职业性别偏见，并提出了一些缓解这些偏见的提示技术。

Dec, 2022

本文提出了两个直观的度量标准、skew 和 stereotype，来量化和分析上下文语言模型应对 WinoBias 代词消解任务时存在的性别偏见，并通过两种方法调查了如何减少偏见。第一个方法是在线方法，在牺牲刻板印象的代价下有效地消除偏斜。第二个方法是借鉴了 ELMo 的先前工作，并使用增强的性别平衡数据集微调 BERT，结果与无增强微调的 BERT 相比，降低了 skew 和 stereotype。但是，我们发现现有的性别偏见基准未完全探测到专业偏见，因为代词消解可能会被来自其他性别偏见表现的交叉相关性所混淆。

Jan, 2021

通过系统地分析使用不同语言、单语和多语模型、不同架构的偏向性，扩展了评估预训练英语语言模型中的刻板偏见的研究范围，发现在多语言环境下分析是非常重要的，并且公布了代码库以及翻译数据集的实用指南以鼓励将我们的工作进一步扩展到其他语言。

Jul, 2023

本文提出了一种评估方法来测量天生的性别偏见，其通过构建一项挑战任务，通过将性别中性前提与性别具体假设进行配对的方式来进行。研究发现，许多先进的 NLI 模型在使用职业数据集进行训练时会因性别偏见而出现错误，但通过通过扩充训练数据集来确保性别平衡，可以在某些情况下帮助减少此类偏差。

May, 2021

通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

Nov, 2023

本文针对印度语言，量化职业中的性别偏见，并通过有效的微调方法减缓其中存在的偏见，以建立更公平的系统。

Sep, 2022

这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

Jul, 2023

本研究旨在分析西斯拉夫语言模型中的性别偏见，通过评估单语和多语言模型的性别偏见情况以及生成词的有害程度和性别特征，发现针对男性的西斯拉夫语言模型生成的词较为有害，且与暴力，死亡和疾病有关系。

Apr, 2023

通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含 108k 多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在 www.github.com/SLAB-NLP/BUG 上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

Sep, 2021

该论文介绍了 StereoSet，一个用于评估英语中预训练语言模型中四种基于性别、职业、种族和宗教的陈规陋习偏见的大规模自然数据集，并评估了 BERT、GPT-2、RoBERTa 和 XLNet 等流行的语言模型在其中的表现，同时呈现了一个有隐藏测试集的排行榜来跟踪未来语言模型的偏见。

Apr, 2020