本文提出了两个直观的度量标准、skew和stereotype，来量化和分析上下文语言模型应对WinoBias代词消解任务时存在的性别偏见，并通过两种方法调查了如何减少偏见。第一个方法是在线方法，在牺牲刻板印象的代价下有效地消除偏斜。第二个方法是借鉴了ELMo的先前工作，并使用增强的性别平衡数据集微调BERT，结果与无增强微调的BERT相比，降低了skew和stereotype。但是，我们发现现有的性别偏见基准未完全探测到专业偏见，因为代词消解可能会被来自其他性别偏见表现的交叉相关性所混淆。

Jan, 2021

通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含108k多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在www.github.com/SLAB-NLP/BUG上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

Sep, 2021

这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

Jul, 2023

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

多任务、多语种模型在语音识别中的广泛应用，虽然适用于多种语言，但仍存在在性别间表现差异的问题。我们通过系统评估多语种ASR系统在性别表现差异上的问题，并发现了明显的性别差异。在19种语言的三个数据集上，我们使用两种流行的模型，跨越了七个语系。尽管在声调、说话速度等语音学变量方面没有显著差异，并且模型内部状态的分析显示探针性能与性别差异之间存在负相关。也就是说，在一个语言中更容易区分说话者性别时，模型更倾向于女性说话者。我们的研究结果表明，尽管多任务和多语种方面取得了很大进展，但性别间的差异问题仍未解决。我们提供了有价值的首批关于多语种ASR系统性别差距评估的见解。我们将所有代码和相关资料发布在此 https URL

Feb, 2024

我们研究了不同语言中大型语言模型生成的输出中的性别偏见，通过三项测量方法评估性别相关背景下选择描述性词语的性别偏见、选择性别相关代词（她/他）的性别偏见以及生成对话的主题的性别偏见。我们的研究表明，在我们调查的所有语言中都存在显著的性别偏见。

Mar, 2024

研究通过建立一个新的框架UnStereoEval（USE），来调查非刻板化场景下的性别偏见。结果发现，28个测试模型中所有模型都存在较低的公平性，只有9%-41%的非刻板化句子表现出公正行为，这表明偏见不仅仅源自性别相关词的存在，这些结果对模型偏见的根源提出了重要问题，并强调需要更系统和综合的偏见评估。

May, 2024

大型语言模型（LLMs）具有卓越的性能，在各种自然语言处理（NLP）任务中表现出色。本文通过一种新颖的基于特征的分析方法研究了LLMs内部偏见的传播。我们的发现揭示了LLMs中偏见的复杂性质并强调了定制的去偏方法的必要性，为有效缓解偏见机制和途径提供了更深入的理解。

Jun, 2024

本研究针对大型语言模型（LLMs）在语音处理中的社会偏见问题，提出了一种新的评估工具——口语立体集（Spoken Stereoset）。通过分析不同模型对多样化人群发言的反应，研究揭示了尽管大多数模型表现出较小的偏见，但仍有部分模型显现出轻微的刻板印象表现，这对未来的模型改进和社会公平性具有重要影响。

Aug, 2024

本研究针对大型语言模型（LLMs）在自然语言生成中放大性别相关社会偏见的问题，提出了GenderCARE框架，以构建灵活而全面的评估标准、偏见评估、减少技术及评估指标。研究表明，该框架能显著减少性别偏见，且在保持模型性能的同时，实现过90%的偏差降低，为实现LLMs的公平性和公正性提供了新的解决方案。

Aug, 2024