该论文介绍了StereoSet，一个用于评估英语中预训练语言模型中四种基于性别、职业、种族和宗教的陈规陋习偏见的大规模自然数据集，并评估了BERT、GPT-2、RoBERTa和XLNet等流行的语言模型在其中的表现，同时呈现了一个有隐藏测试集的排行榜来跟踪未来语言模型的偏见。

Apr, 2020

该论文介绍了一种基准测试数据CrowS-Pairs，用于评估预先训练的自然语言模型在涉及到社会偏见方面的表现，结果发现所有评估的模型在CrowS-Pairs的每个类别中都偏向于表达刻板印象的句子。

Sep, 2020

本文利用高斯分布提出了KLDivS和JSDivS两种新的评估社会偏见的度量方法，并在公共数据集StereoSet和CrowS-Pairs上进行了实验，结果表明KLDivS和JSDivS比过去提出的度量方法更稳定和可解释。

May, 2023

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

我们通过将伪对数似然（PLL）得分集表示为高斯分布，并使用KL散度和JS散度构建评估措施，以评估刻板化和反刻板化PLL得分的分布，发现我们提出的措施在公开可用的数据集StereoSet（SS）和CrowS-Pairs（CP）上显示出显著的鲁棒性和可解释性。

Jan, 2024

通过对现有的大规模视觉-语言模型进行大规模研究，我们发现社会属性，如种族、性别和形象特征，可以显著影响生成的有害内容、能力相关词汇、有害刻板印象和被描述个体的评分，同时也探讨了大规模视觉-语言模型和对应的语言模型之间的社会偏见关系和减缓偏见的推理策略。

May, 2024

社会偏见在大型语言模型中是由各种人口统计学特征的目标的社会感知的积累所塑造的。为了全面理解大型语言模型中的这种社会偏见，必须考虑到各种身份认同之间多元观点下的社会感知。本文旨在研究各种视角的社会感知如何影响大型语言模型中社会偏见的发展。为此，我们提出了一种直观量化这些社会感知的新策略，并提出了可以通过汇集多样化的社会感知评估大型语言模型中社会偏见的度量标准。实验结果通过检查社会感知定量地展示了大型语言模型中的社会态度。我们进行的分析表明，我们提出的度量标准捕捉到了社会偏见的多维方面，从而实现了对大型语言模型中偏见的细致全面的调查。

Jun, 2024

本研究探讨了大型语言模型（LLMs）在不同提示变化下对任务表现和社会偏见的敏感性，发现LLMs对提示的敏感程度很高，可能导致在任务表现和社会偏见方面的模型排名波动。此外，在优化社会偏见和任务表现之间存在权衡，而高级LLMs的示例模糊性是导致对提示敏感性的原因之一。因此，建议使用多样化的提示来比较提示对LLMs社会偏见的影响。

Jul, 2024

这项研究介绍了一个经过策划的口语偏见评估工具包和相应数据集，通过对语音集成大型语言模型中的性别偏见进行评估，揭示了偏见水平与不同评估方法之间的语言相关性差异，并强调了采用多种方法全面评估SILLM中的偏差的必要性，为开发更加公平的SILLM系统提供了见解。

Jul, 2024

本研究解决了多模态大语言模型（MLLMs）中的社会偏见问题，提出了一种综合的反事实数据集（CMSC）以及去偏见策略（ASD）。通过改进训练过程和数据采样方法，实验结果表明，该方法显著降低了社会偏见，同时保持了模型的原始性能。

Aug, 2024