本文探究大型语言模型（LLMs）（如 BERT）中是否存在反对酷儿和跨性别者的偏见，并提出一种通过对酷儿社区撰写或关于酷儿社区的数据对模型进行微调以减少这些偏差的方法。通过引入新的基准数据集 WinoQueer，我们发现 BERT 存在明显的反同性恋偏见，但是通过在 LGBTQ + 成员编写的自然语言语料库上进行微调，这种偏见可以得到大部分缓解。

Jun, 2022

通过使用我们的新评估框架 QueerBench，本文评估了英语大语言模型（LLMs）生成的句子完成对 LGBTQIA + 个体可能造成的潜在危害，并表明大型语言模型在对 LGBTQIA + 社群中的个体表现出更频繁的歧视行为，使得 QueerBench 有害性得分在 7.2% 的差距内增加。

Jun, 2024

LLMs 生成的文本存在社会偏见，本文通过情感分数打分分析，证明了 LLMs 生成文本存在性少数群体偏见，并展示了一种基于 SHAP 分析的启发式方法来减轻性少数群体偏见的方法

Jun, 2023

该论文提出了一种使用印度语 LGBTI + 词汇表评估大型语言模型的方法，通过四个步骤：确定与期望行为相关的自然语言处理任务，创建用于测试语言模型的提示，使用语言模型获得输出，并进行手动评估。通过定性分析，我们发现我们实验的三个语言模型无法检测到潜在的仇恨内容，并且在使用机器翻译评估非英语语言的自然语言理解方面存在局限性。该论文提出的方法对其他语言的 LGBTI + 词汇表以及其他领域专用词表都有用处。这篇论文的研究工作为大型语言模型的负责任行为开辟了道路，如在 LGBTI + 社区的普遍社会认知背景下所示。

Oct, 2023

大型语言模型（LLMs）可以产生展现社交偏见并支持刻板印象的回答。然而，传统的基准测试无法充分评估 LLM 偏见，因为它无法扩展到大量的提示集，并且没有提供保证。因此，我们提出了一种新的认证框架 QuaCer-B（Bias 的定量认证），它提供了在大量提示集下从目标 LLMs 获取无偏回答的形式保证。证书包括从分布中采样的包含敏感属性的任何提示集获得有偏回答的概率的高置信度上限。我们通过在给定分布中随机令牌序列、手动越狱的混合和 LLM 嵌入空间中的越狱的提示上对 LLM 的偏见进行证明。我们使用 QuaCer-B 对流行的 LLMs 进行认证，并呈现关于其偏见的新见解。

May, 2024

对社交媒体平台上的内容审查进行分析，研究其对性别多元化言语模式的偏见，并提出五个现成的语言模型在评估这些文本的伤害程度时的性能评估。

May, 2024

通过引入人类知识进行自然语言干预，本研究探索了预训练语言模型的行为特征，以性别偏见为背景，通过问答评估了模型的一致性、偏见倾向、模型偏好和性别偏好切换，并提供了首个基于人类知识的大语言模型偏见评估数据集。

Dec, 2023

对大型语言模型的研究发现，它们往往存在社会偏见，尤其在印度和西方语境下，而引入一种称为 Instruction Prompting 的简单干预方法能够显著减少这种偏见。

Sep, 2023

评估和改善大型语言模型（LLMs）的公平性，通过使用不同的提示性数据集来测量社会偏见，对比模型之间的偏差和毒性度量，并研究偏差 / 毒性降低技术的效果。我们开源分析代码以鼓励测量未来 LLMs 偏见的广泛研究。

Nov, 2023

通过对 93 个羞辱现象的分类和构建 QA 数据集来测试社会偏见扩大化对生成性语言模型的影响，发现这些模型生成的输出在很大程度上增加了对受羞辱群体的社会偏见，并且模板设计的选择和问题提示方式都会影响生成的社会偏见输出。

Dec, 2023