CrowS-Pairs：一个挑战数据集，用于测试面具语言模型中的社会偏见

EMNLPSep, 2020

CrowS-Pairs：一个挑战数据集，用于测试面具语言模型中的社会偏见

CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models

Nikita Nangia, Clara Vania, Rasika Bhalerao, Samuel R. Bowman

TL;DR该论文介绍了一种基准测试数据 CrowS-Pairs，用于评估预先训练的自然语言模型在涉及到社会偏见方面的表现，结果发现所有评估的模型在 CrowS-Pairs 的每个类别中都偏向于表达刻板印象的句子。

Abstract

Pretrained language models, especially masked language models (MLMs) have seen success across many NLP tasks. However, there is ample evidence that they use the cultural biases that are undoubtedly present in the

masked language models cultural biases social bias stereotypes benchmark

发现论文，激发创造

深入探讨填词偏见社会倾向度量

本研究针对语言模型中的社会偏见问题，探讨使用词填充提示来评估语言模型行为的两种方法的有效性，发现当构建适当的控制组样本时，这些方法产生意外和不合逻辑的结果，因此应该重新考虑使用它们。我们提出了一种改进的测试协议，并介绍了一个斯洛伐克的性别偏见数据集。

Feb, 2023

IndiBias: 用于测量印度语境下语言模型社会偏见的基准数据集

IndiBias 是一个专门为评估印度社会偏见而设计的全面基准数据集，它将现有的 CrowS-Pairs 数据集过滤和翻译成印地语，并利用 ChatGPT 和 InstructGPT 等大型语言模型增加了印度独特的社会偏见和刻板印象维度，同时还针对交叉偏见构建了相应的资源。该数据集包含 800 个过滤后的句子和用于不同人口统计的偏见测量元组，提供英语和印地语两种语言的版本，规模可与现有的基准数据集相媲美。通过使用 IndiBias，我们比较了十种不同的语言模型在多个偏见测量指标上的表现，发现语言模型在大多数交叉群体中表现出更多偏见。

Mar, 2024

掩盖语言模型和下游情感分类任务中对 93 个受污名化群体的偏见

本研究旨在通过检测自然语言处理中的倾向性，确定人工智能模型的偏见和风险，并揭示这些模型对社会中处于弱势地位、受到歧视的群体的影响。结果表明，预训练的 MLMs（Masked Language Models）和他们的下游情感分类器存在着对社会中处于弱势地位、受到歧视的群体的偏见。

Jun, 2023

评估掩码语言模型中的社会偏见的鲁棒评估度量

我们通过将伪对数似然（PLL）得分集表示为高斯分布，并使用 KL 散度和 JS 散度构建评估措施，以评估刻板化和反刻板化 PLL 得分的分布，发现我们提出的措施在公开可用的数据集 StereoSet（SS）和 CrowS-Pairs（CP）上显示出显著的鲁棒性和可解释性。

Jan, 2024

KoSBI：减少社会偏见风险的数据集，以更安全的大型语言模型应用为目标

通过构建本土化社会偏见数据集，可以减少韩国大型语言模型的社会偏见，有效地保证其安全、可靠、有效地部署。

May, 2023

通过预测质量的代理方法测量掩盖语言模型中的社会偏见

通过使用迭代的蒙板实验测量变压器模型的预测质量，并评估多层语言模型对于劣势群体和优势群体的偏好，我们比较了两个基准数据集上的偏见估计结果，并发现在考虑的多层语言模型中具有相对较高的宗教和残疾偏见，而在一个数据集中相对较低的性别偏见。我们的测量方法在与人类注释者的一致性方面表现优于其他方法。我们通过评估在蒙版语言建模目标下重新训练多层语言模型后引入的社会偏见进行扩展，并发现我们提出的测量方法比其他方法更准确地估计了变压器之间具有偏见的句子的相对偏好。

Feb, 2024

社会偏见探测：语言模型的公平性基准测试

本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

Nov, 2023

多语言遮蔽语言模型中的性别偏见

通过提出多语种偏差评估模型（MBE）和手动创建的数据集对八种语言的语言模型进行评估，证实了所有这些语言中均存在针对性别相关的偏差，同时在日语和俄语中的手动创建的数据集与 MBE 评分存在显著相关性。

May, 2022

公正对待：通过成对扰动对语言模型中的偏见进行稳健评估

FairPair 是一个评估框架，用于评估在普通使用中发生的差异对待；通过对具有相同人口群体背景的对照组进行分析，考虑了生成过程本身的变异性，表明更倾向于将家庭和爱好与女性相关联。

Apr, 2024

StereoSet：测量预训练语言模型中的陈词滥调偏见

该论文介绍了 StereoSet，一个用于评估英语中预训练语言模型中四种基于性别、职业、种族和宗教的陈规陋习偏见的大规模自然数据集，并评估了 BERT、GPT-2、RoBERTa 和 XLNet 等流行的语言模型在其中的表现，同时呈现了一个有隐藏测试集的排行榜来跟踪未来语言模型的偏见。

Apr, 2020